DeepSeek在本周的開源活動(dòng)中繼續(xù)釋放技術(shù)紅利，于2月27日揭曉了其開源周的第四項(xiàng)開源成果——針對(duì)V3/R1訓(xùn)練場(chǎng)景下的并行策略優(yōu)化方案。

此次開源的核心內(nèi)容包括DualPipe，這是一種創(chuàng)新的雙向流水線并行算法，旨在實(shí)現(xiàn)計(jì)算與通信過程的有效重疊，從而大幅提升訓(xùn)練效率。同時(shí)，EPLB作為專家并行負(fù)載均衡器，為V3/R1架構(gòu)下的資源分配提供了智能化解決方案。DeepSeek還深入分析了V3/R1中的計(jì)算通信重疊問題，為進(jìn)一步優(yōu)化提供了理論支撐。

作為本周開源活動(dòng)的一部分，DeepSeek此前已陸續(xù)推出了多個(gè)重量級(jí)開源項(xiàng)目。2月24日，以Flash MLA作為開源周的開門紅，為機(jī)器學(xué)習(xí)領(lǐng)域注入了新的活力。緊接著，2月25日，DeepSeek開源了DeepEP，這是一款專為MoE模型訓(xùn)練和推理設(shè)計(jì)的EP通信庫，極大地提升了模型訓(xùn)練的效率和穩(wěn)定性。而在2月26日，DeepSeek再次發(fā)力，開源了DeepGEMM庫，該庫支持FP8精度下的密集型和混合專家（MoE）通用矩陣乘法（GEMM）運(yùn)算，為高性能計(jì)算領(lǐng)域提供了新的工具。

DeepSeek此次開源活動(dòng)不僅展示了其在深度學(xué)習(xí)領(lǐng)域的技術(shù)實(shí)力，也體現(xiàn)了其對(duì)開源社區(qū)的貢獻(xiàn)和承諾。通過持續(xù)開放源代碼和技術(shù)文檔，DeepSeek旨在促進(jìn)技術(shù)交流和合作，共同推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用。