稀宇科技(MiniMax)今日震撼發布其全新01系列模型,該系列涵蓋了基礎語言大模型MiniMax-Text-01與視覺多模態大模型MiniMax-VL-01,標志著公司在人工智能領域邁出了重要一步。
為了讓開發者們更便捷地進行研究,MiniMax慷慨地將這兩個模型的完整權重在Github上進行了開源。同時,公司透露,關于這兩個模型的后續更新,包括代碼和多模態相關的強化功能,將陸續上傳,敬請期待。
01系列模型的一大亮點在于其首次大規模應用了線性注意力機制,成功打破了Transformer傳統架構的記憶瓶頸。這意味著,該系列模型能夠處理高達400萬token的輸入,其輸入長度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍,無疑為處理大規模數據提供了強有力的支持。
據透露,01系列模型的參數量驚人,高達4560億,單次激活便可達459億。在綜合性能上,該系列模型已經與海外頂尖模型并駕齊驅,在大多數任務上成功追平了GPT-4o-1120和Claude-3.5-Sonnet-1022這兩個海外公認的最先進模型。
在處理長文任務時,MiniMax-Text-01展現出了卓越的性能。隨著輸入長度的增加,其性能衰減幅度明顯小于谷歌的Gemini模型。因此,01系列模型在處理長輸入時效率極高,復雜度接近線性,為用戶帶來了前所未有的使用體驗。
在定價方面,MiniMax也展現出了其親民的一面。該系列模型的標準定價為輸入1元/百萬輸入token,輸出8元/百萬輸出token,相較于其他同類產品,性價比極高。
此次MiniMax推出的01系列模型,不僅展現了公司在人工智能技術上的深厚積累,更為廣大開發者提供了強大的工具和支持。我們有理由相信,在MiniMax的推動下,人工智能領域將迎來更加廣闊的發展前景。