小米大模型團隊在音頻推理領域取得了一項引人注目的成就。近日,該團隊宣布,他們受Deepseek-R1的啟發,在國際權威的MMAU音頻理解評測中取得了突破,以64.5%的準確率登頂榜首,并且已經將相關技術開源。
MMAU評測集,即大規模多任務音頻理解和推理評測集,是衡量音頻推理能力的重要標尺。它包含了一萬條涵蓋語音、環境聲和音樂的音頻樣本,并結合人類專家標注的問答對,測試模型在27種技能上的表現,旨在推動模型達到接近人類專家的邏輯分析水平。然而,這一評測標準對人類來說也并非易事,人類專家在MMAU上的準確率也不過82.23%。
在小米大模型團隊登頂之前,MMAU官網榜單上的佼佼者是來自OpenAI的GPT-4o,其準確率為57.3%,緊隨其后的是Google DeepMind的Gemini 2.0 Flash,準確率為55.6%。而來自阿里的Qwen2-Audio-7B模型,在此評測集上的表現則為49.2%。
小米大模型團隊并未止步于Qwen2-Audio-7B模型的表現。他們利用該模型的開源特性,嘗試使用清華大學發布的AVQA數據集進行微調。AVQA數據集雖然僅包含3.8萬條訓練樣本,但通過全量有監督微調(SFT),Qwen2-Audio-7B模型在MMAU上的準確率提升到了51.8%。這一初步成果為團隊后續的研究奠定了堅實的基礎。
DeepSeek-R1的發布為小米大模型團隊帶來了新的啟示。該模型采用的Group Relative Policy Optimization(GRPO)方法,使得模型能夠通過“試錯-獎勵”機制自主進化,涌現出類似人類的反思和多步驗證等推理能力。小米大模型團隊深受啟發,嘗試將DeepSeek-R1的GRPO算法遷移到Qwen2-Audio-7B模型上。
經過不懈的努力,小米大模型團隊最終取得了令人矚目的成果。在僅使用AVQA的3.8萬條訓練樣本的情況下,強化學習微調后的模型在MMAU評測集上實現了64.5%的準確率。這一成績不僅遠超Qwen2-Audio-7B模型微調前的表現,也比目前榜單上第一名的商業閉源模型GPT-4o有近10個百分點的優勢。
小米大模型團隊的這一成就,不僅展示了他們在音頻推理領域的強大實力,也為整個AI領域帶來了新的啟示。他們通過開源技術和創新算法的結合,推動了音頻理解和推理能力的提升,為未來的AI發展開辟了新的道路。