近期，專注于AI芯片與解決方案的SambaNova公司宣布了一項重大進展，在其基于自主研發(fā)的SN40L RDU處理器的云平臺上，推出了DeepSeek-R1 671B模型推理云服務(wù)。據(jù)稱，這一服務(wù)在業(yè)界內(nèi)以極快的token輸出速度脫穎而出，每秒可處理198個prompts。

SN40L RDU芯片是SambaNova的技術(shù)核心，它采用了臺積電先進的5nm制程工藝，BF16算力高達638 TFLOPS。更令人矚目的是其獨特的三層存儲結(jié)構(gòu)設(shè)計：片內(nèi)配備了520MB的SRAM緩存，通過2.5D封裝集成了64GB的HBM內(nèi)存，外加片外的1.5TB超大容量DDR DRAM內(nèi)存。這一設(shè)計使得SN40L RDU芯片能夠容納遠超同類競品的模型參數(shù)。

除了強大的硬件配置，SN40L RDU芯片在結(jié)構(gòu)上還具備高度的靈活性。它能夠根據(jù)實際需求動態(tài)重新配置硬件資源和數(shù)據(jù)流，從而顯著提升計算效率和內(nèi)存訪問速度。這種靈活性使得SambaNova的云平臺在處理復(fù)雜AI任務(wù)時，能夠展現(xiàn)出卓越的性能。

SambaNova公司進一步強調(diào)，他們僅需一個配備16個SN40L RDU芯片的機架，即可成功部署DeepSeek-R1 671B模型推理服務(wù)。這一部署方案不僅高效，而且大大降低了運營成本，為AI應(yīng)用的廣泛推廣奠定了堅實基礎(chǔ)。