【ITBEAR】meta公司近日宣布，已正式開源其專為智能手機設計的小語言模型MobileLLM家族。此次發(fā)布不僅包含了該模型家族，還新增了600M、1B和1.5B三種參數(shù)版本，以滿足不同需求。相關項目已在GitHub上公開，供開發(fā)者訪問與參考。
據(jù)meta研究人員介紹，MobileLLM模型采用了創(chuàng)新的精簡架構(gòu)，并引入了“SwiGLU激活函數(shù)”和“分組查詢注意力機制”，這些技術使其在保持高效運行的同時，也能展現(xiàn)出優(yōu)異的性能表現(xiàn)。
在訓練速度方面，MobileLLM模型同樣表現(xiàn)出色。研究人員表示，在配備32顆Nvidia A100 80G GPU的服務器環(huán)境下，訓練1萬億詞的MobileLLM模型時，1.5B版本僅需18天即可完成，而較小的125M版本則只需3天。這一速度相較于同類模型而言，無疑是一個顯著的優(yōu)勢。
在實際應用中，MobileLLM模型也展現(xiàn)出了強大的實力。據(jù)悉，MobileLLM 125M和350M兩款模型在零樣本常識理解任務中的準確率，分別比Cerebras、OPT、BLOOM等業(yè)界領先的模型高出了2.7%和4.3%。這一成績充分證明了MobileLLM模型在自然語言處理領域的優(yōu)異性能。
當將MobileLLM-1.5B與業(yè)界其他參數(shù)量更大的模型進行比較時，其表現(xiàn)同樣令人矚目。在結(jié)果測試方面，MobileLLM-1.5B據(jù)稱領先了包括GPT-neo-2.7B、OPT-2.7B、BLOOM-3B以及Qwen 1.5-1.8B等在內(nèi)的多款大型模型。
meta此次開源的MobileLLM模型家族無疑為自然語言處理領域帶來了新的突破。其精簡的架構(gòu)、高效的訓練速度以及出色的性能表現(xiàn)，都使得該模型在未來有著廣闊的應用前景。
