近日,澎峰科技宣布其自主研發(fā)的PerfXLM+推理框架已成功基于海光DCU(Deep Computing Unit)完成對(duì)DeepSeek全系列模型的深度適配與優(yōu)化,顯著提升了AI大模型的應(yīng)用效能。PerfXLM+通過底層架構(gòu)優(yōu)化,全面適配海光DCU算力平臺(tái),為DeepSeek模型提供高性能支持,尤其在DeepSeek-R1-Distill等系列模型上,結(jié)合海光DCU的并行計(jì)算能力,顯著降低了資源消耗并提升了推理效率。
海光DCU采用GPGPU通用加速計(jì)算架構(gòu),兼容性高,可大幅減少模型底層適配工作量,使技術(shù)團(tuán)隊(duì)能夠?qū)W⒂谀P途闰?yàn)證與性能優(yōu)化,實(shí)現(xiàn)高效部署。PerfXLM+推理框架目前已覆蓋自然語言處理、多模態(tài)理解等核心場(chǎng)景,支持客戶基于海光DCU集群快速迭代模型并彈性擴(kuò)展,滿足實(shí)時(shí)推理需求。
此外,PerfXLM+通過模型量化、算子融合等核心技術(shù),進(jìn)一步挖掘海光DCU的異構(gòu)計(jì)算潛力,為企業(yè)提供高質(zhì)量、低成本的AI推理服務(wù)。隨著“框架+硬件+模型”全棧能力的構(gòu)建完成,國產(chǎn)廠商有望加速降低企業(yè)AI部署門檻,推動(dòng)AI技術(shù)在各行業(yè)的廣泛應(yīng)用。