華為技術有限公司近期宣布了一項重要進展,其MindSpeed平臺現已全面支持DeepSeek V3模型的預訓練及微調工作。這一消息標志著華為在人工智能領域的技術實力再次得到彰顯。
具體而言,MindSpeed平臺在支持DeepSeek V3模型時,采用了高效的并行配置和精細的模型參數設置。這些設置確保了模型在預訓練和微調階段能夠達到最佳性能。相關配置和參數的詳細信息,以圖表形式呈現,清晰直觀。
DeepSeek團隊通過創新的知識蒸餾技術,成功實現了小型模型在推理能力上的大幅提升。華為表示,他們已在昇騰平臺上完成了蒸餾流程的驗證,經過蒸餾的Qwen模型在特定領域上的表現取得了顯著進步。這一成果為開發者提供了寶貴的參考,使他們能夠基于這一流程訓練出性能更優的自定義模型。
華為昇騰平臺還完成了對Open R1項目的重要適配工作。Open R1是一個旨在完全復現DeepSeek-R1模型流程的開源項目,由Hugging Face官方發起。華為昇騰平臺成功打通了Open R1-Zero的GRPO流程,并支持通過vLLM等生態庫在訓練過程中生成數據。這一進展為DeepSeek-R1模型的訓練流程構建提供了有力支持。
Open R1項目自發布以來,受到了業界的廣泛關注。目前,該項目已在GitHub上獲得了超過18000個星標,成為主流復現項目之一。華為昇騰平臺的適配工作無疑將進一步推動該項目的發展,為更多開發者提供便捷、高效的模型復現和訓練工具。
華為此次宣布的進展,不僅展示了其在人工智能領域的深厚技術積累,也為行業內的開發者提供了更多選擇和可能性。隨著技術的不斷進步和應用場景的不斷拓展,華為昇騰平臺將繼續發揮其在人工智能領域的優勢,推動行業的持續發展和創新。