華為近日宣布,其DeepSeek系列中的DeepSeek-R1、DeepSeek-V3、DeepSeek-V2以及Janus-Pro四款模型已正式入駐昇騰社區。這一舉措意味著用戶現在可以一鍵獲取這些先進的模型,并在昇騰硬件平臺上實現開箱即用的便捷體驗。
據悉,DeepSeek-V3模型的首個版本于去年成功上線并同步開源。作為一款自研的MoE模型,它擁有高達671B的參數,并在14.8T的token數據上進行了預訓練,其中37B參數被激活。這一強大的模型在多項評測中展現出了卓越的性能,超越了Qwen2.5-72B和Llama-3.1-405B等其他知名的開源模型。
更DeepSeek-V3在性能上與世界頂尖的閉源模型,如GPT-4o和Claude-3.5-Sonnet,也毫不遜色。這一表現無疑為DeepSeek系列模型贏得了廣泛的關注和贊譽。
為了幫助用戶更好地在昇騰社區獲取和使用DeepSeek-V3模型,以下將詳細介紹其操作步驟:
首先,用戶需要滿足一定的硬件要求。為了成功部署DeepSeek-V3模型,建議配置4臺Atlas 800I A2(8*64G)服務器資源。
接下來是模型調用的實踐環節。用戶需要進行權重轉換,這一步驟根據所使用的硬件(GPU或NPU)而有所不同。然后,用戶需要在昇騰社區的開發資源中下載適配DeepSeek-V3的鏡像包,具體為mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64。下載完成后,使用docker images命令確認查找具體鏡像名稱與標簽。
最后,進行服務化測試。用戶需要配置服務化環境變量,并啟用內存池擴展段功能(即虛擬內存特性)。然后修改服務化參數并拉起服務化。當控制臺顯示“Daemon start success!”時,即表示服務已成功啟動。