DeepSeek“開源周”活動近日進入尾聲，此次活動的焦點之一是公布了一系列優(yōu)化并行策略的項目。這些項目旨在提升深度學(xué)習(xí)訓(xùn)練的效率，特別是在V3和R1訓(xùn)練框架中的應(yīng)用。

其中，“DualPipe”項目尤為引人注目。這是一種創(chuàng)新的雙向流水線并行算法，最初在《深度搜索-V3 技術(shù)報告》中被提出。通過實現(xiàn)正向和反向計算-通信階段的完全重疊，并減少流水線氣泡，DualPipe極大地提升了訓(xùn)練過程中的資源利用效率。

與此同時，DeepSeek還開源了名為“EPLB”的專家并行負(fù)載平衡器。在專家并行（EP）模式下，不同的專家模型被分配到不同的GPU上執(zhí)行。然而，由于不同專家的負(fù)載可能因當(dāng)前任務(wù)而異，保持GPU間的負(fù)載平衡成為了一個挑戰(zhàn)。為了解決這一問題，DeepSeek采用了冗余專家策略，并開發(fā)了一套啟發(fā)式方法，以確保復(fù)制的專家能夠合理地分配到各個GPU上，從而實現(xiàn)負(fù)載平衡。考慮到DeepSeek-V3中使用的分組受限的專家路由策略，EPLB還嘗試將同一組的專家放置在同一節(jié)點上，以減少跨節(jié)點的數(shù)據(jù)流量。

為了便于社區(qū)復(fù)現(xiàn)和部署這一算法，DeepSeek在eplb.py文件中公開了EP負(fù)載均衡算法的實現(xiàn)細(xì)節(jié)。該算法能夠根據(jù)估計的專家負(fù)載，計算出平衡的專家復(fù)制和放置計劃。當(dāng)然，預(yù)測專家負(fù)載的具體方法并不在此次開源的范圍內(nèi)，但通常可以使用歷史統(tǒng)計數(shù)據(jù)的移動平均值作為參考。

除了上述兩個核心項目外，DeepSeek還分享了來自其訓(xùn)練和推理框架的分析數(shù)據(jù)。這些數(shù)據(jù)涵蓋了通信-計算重疊策略以及底層實現(xiàn)細(xì)節(jié)，旨在幫助社區(qū)更好地理解并優(yōu)化深度學(xué)習(xí)訓(xùn)練過程。

DeepSeek的這一系列開源舉措，不僅展示了其在深度學(xué)習(xí)并行策略優(yōu)化方面的深厚積累，也為整個社區(qū)提供了寶貴的資源和啟示。隨著這些項目的逐步推廣和應(yīng)用，我們有理由相信，深度學(xué)習(xí)訓(xùn)練的效率將得到進一步的提升。