【ITBEAR】騰訊近日揭曉了旗下全新的開源MoE大語言模型——Hunyuan-Large，該模型憑借業(yè)界領(lǐng)先的參數(shù)規(guī)模和卓越性能，一舉成為行業(yè)焦點。
據(jù)悉，Hunyuan-large不僅在參數(shù)數(shù)量上達(dá)到了驚人的389B，同時其激活參數(shù)也高達(dá)52B，訓(xùn)練token數(shù)量更是攀升至7T。這一系列的數(shù)字背后，代表著該模型在處理長文本上下文時的強大能力，其最大上下文長度支持到256K，詞表大小擴展至12.8w，為長文本任務(wù)的高效完成提供了堅實的技術(shù)支撐。
在技術(shù)創(chuàng)新層面，Hunyuan-large展現(xiàn)了其獨特的魅力。通過巧妙地運用高質(zhì)量的合成數(shù)據(jù)，該模型成功強化了訓(xùn)練過程，有效彌補了自然數(shù)據(jù)的不足之處。這一創(chuàng)新舉措不僅提升了模型的訓(xùn)練效率，更進(jìn)一步保證了其在處理復(fù)雜任務(wù)時的準(zhǔn)確性和穩(wěn)定性。
Hunyuan-large在多學(xué)科綜合評測集上展現(xiàn)了卓越的性能。無論是在CMMLU、MMLU，還是在CEva1、MATH等評測集上，該模型均取得了令人矚目的成績。其在中英文自然語言處理、代碼生成以及數(shù)學(xué)運算等九大能力維度上全面領(lǐng)先，甚至超越了Llama3.1和Mixtral等業(yè)內(nèi)知名的一流開源模型。
為了進(jìn)一步推動長文本處理技術(shù)的發(fā)展，騰訊還宣布將推出自研的長文評測集——“企鵝卷軸（PenguinScrolls）”。這一評測集的推出，旨在填補當(dāng)前行業(yè)在真實長文評測方面的空白，為相關(guān)技術(shù)的研發(fā)和應(yīng)用提供更為全面、客觀的評估標(biāo)準(zhǔn)。
“企鵝卷軸”基于公開的金融、法律、學(xué)術(shù)論文等長文本構(gòu)建而成，文本長度覆蓋從1K到128K的廣泛范圍。這一設(shè)計使得該評測集能夠全面覆蓋深度閱讀理解和長文推理等關(guān)鍵任務(wù)，為相關(guān)技術(shù)的深入研究和應(yīng)用提供了寶貴的資源。
