騰訊近日揭曉了旗下全新的開源MoE大語言模型——Hunyuan-Large，該模型憑借業界領先的參數規模和卓越性能，一舉成為行業焦點。
據悉，Hunyuan-large不僅在參數數量上達到了驚人的389B，同時其激活參數也高達52B，訓練token數量更是攀升至7T。這一系列的數字背后，代表著該模型在處理長文本上下文時的強大能力，其最大上下文長度支持到256K，詞表大小擴展至12.8w，為長文本任務的高效完成提供了堅實的技術支撐。
在技術創新層面，Hunyuan-large展現了其獨特的魅力。通過巧妙地運用高質量的合成數據，該模型成功強化了訓練過程，有效彌補了自然數據的不足之處。這一創新舉措不僅提升了模型的訓練效率，更進一步保證了其在處理復雜任務時的準確性和穩定性。
Hunyuan-large在多學科綜合評測集上展現了卓越的性能。無論是在CMMLU、MMLU，還是在CEva1、MATH等評測集上，該模型均取得了令人矚目的成績。其在中英文自然語言處理、代碼生成以及數學運算等九大能力維度上全面領先，甚至超越了Llama3.1和Mixtral等業內知名的一流開源模型。
為了進一步推動長文本處理技術的發展，騰訊還宣布將推出自研的長文評測集——“企鵝卷軸（PenguinScrolls）”。這一評測集的推出，旨在填補當前行業在真實長文評測方面的空白，為相關技術的研發和應用提供更為全面、客觀的評估標準。
“企鵝卷軸”基于公開的金融、法律、學術論文等長文本構建而成，文本長度覆蓋從1K到128K的廣泛范圍。這一設計使得該評測集能夠全面覆蓋深度閱讀理解和長文推理等關鍵任務，為相關技術的深入研究和應用提供了寶貴的資源。
