近期，AI領(lǐng)域迎來了一匹黑馬——DeepSeek，這款應(yīng)用在短短兩周內(nèi)迅速崛起，憑借其出色的性能和多元化的應(yīng)用場(chǎng)景，迅速成為業(yè)界的佼佼者。值得注意的是，昆侖芯也宣布加入支持DeepSeek的行列，為其提供了強(qiáng)大的技術(shù)支持。
昆侖芯，這一源自百度智能芯片及架構(gòu)部的企業(yè)，自2021年4月完成獨(dú)立融資后，便以約130億元的估值，在國(guó)內(nèi)AI加速領(lǐng)域嶄露頭角。憑借其在體系結(jié)構(gòu)、芯片實(shí)現(xiàn)、軟件系統(tǒng)及場(chǎng)景應(yīng)用上的深厚積累，昆侖芯已成為行業(yè)內(nèi)不可忽視的力量。
在蛇年開工的首日，即2月5日，昆侖芯傳來喜訊，其新一代產(chǎn)品P800萬卡集群已成功點(diǎn)亮，而3萬卡集群的點(diǎn)亮也指日可待。這一消息無疑為昆侖芯的發(fā)展注入了新的動(dòng)力。
昆侖芯與DeepSeek的合作堪稱完美。目前，昆侖芯已完成DeepSeek訓(xùn)練推理的全版本適配，其卓越的性能、一鍵部署的便捷性以及極高的成本效率，都贏得了用戶的廣泛贊譽(yù)。特別是在DeepSeek-V3/R1上線后不久，昆侖芯便迅速完成了全版本模型的適配，包括DeepSeek MoE模型及其蒸餾的Llama、Qwen等小規(guī)模dense模型。
昆侖芯還全面適配了文心系列、Llama、Qwen、ChatGLM、Baichuan等各類大模型的推理和訓(xùn)練任務(wù)，其性能優(yōu)勢(shì)顯而易見。各類大模型任務(wù)在昆侖芯平臺(tái)上運(yùn)行流暢，為用戶提供了卓越的使用體驗(yàn)。
昆侖芯P800在支撐Deepseek系列MoE模型大規(guī)模訓(xùn)練任務(wù)方面表現(xiàn)出色。它全面支持MLA、多專家并行等特性，僅需32臺(tái)即可支持模型全參訓(xùn)練，高效完成模型的持續(xù)訓(xùn)練和微調(diào)。P800的顯存規(guī)格優(yōu)于同類主流GPU 20-50％，對(duì)MoE架構(gòu)更加友好。更令人驚喜的是，它率先支持8bit推理，單機(jī)8卡即可運(yùn)行671B模型，這一特性使得P800更易于部署，并顯著降低了運(yùn)行成本。
目前，P800已快速適配支持了Deepseek-V3/R1的持續(xù)全參數(shù)訓(xùn)練及LoRA等PEFT能力，為用戶提供了開箱即用的訓(xùn)練體驗(yàn)?；诶鲂就暾能浖鷳B(tài)棧，用戶只需簡(jiǎn)單兩步，即可輕松實(shí)現(xiàn)在昆侖芯P800上進(jìn)行DeepSeek-V3/R1的推理部署。
首先，用戶需要準(zhǔn)備鏡像和模型資源。昆侖芯P800支持8bit推理，用戶只需下載官方權(quán)重并使用相應(yīng)命令進(jìn)行量化即可。對(duì)于其他不同尺寸的蒸餾模型，用戶則可通過huggingface進(jìn)行下載。接下來，用戶只需啟動(dòng)服務(wù)并配置采樣和推理參數(shù)，即可開始使用。這一過程與vllm社區(qū)的使用方式基本一致，使得用戶可以零成本上手。
