ITBear旗下自媒體矩陣:

微軟DeepSeek-R1模型優(yōu)化,Copilot+ PC本地化AI推理能力大提升

   時間:2025-01-30 13:26:24 來源:ITBEAR編輯:快訊團(tuán)隊 發(fā)表評論無障礙通道

在科技日新月異的今天,人工智能正以前所未有的速度向邊緣計算領(lǐng)域邁進(jìn),而Copilot+ PC在這一進(jìn)程中占據(jù)了舉足輕重的地位。近日,隨著DeepSeek R1模型的橫空出世,微軟也敏銳地捕捉到了這一變革的先機(jī)。

微軟官方近日宣布,已正式推出針對NPU(神經(jīng)網(wǎng)絡(luò)處理器)深度優(yōu)化的DeepSeek-R1模型。該模型現(xiàn)已在Azure AI Foundry和GitHub平臺上架,首批將針對搭載高通驍龍X系列芯片的Copilot+ PC進(jìn)行適配,隨后將逐步擴(kuò)展到英特爾酷睿Ultra 200V等其他平臺。

據(jù)悉,DeepSeek-R1的首個版本——DeepSeek-R1-Distill-Qwen-1.5B,將率先在AI Toolkit中亮相。而7B和14B兩個更大規(guī)模的版本也將緊隨其后,助力開發(fā)者充分利用Copilot+ PC中強(qiáng)大的NPU性能。

微軟方面表示,Copilot+ PC上的NPU開啟了一種全新的工作模式。在這種模式下,生成式AI不僅能夠按需執(zhí)行,還能夠支持半連續(xù)運(yùn)行的服務(wù)。這一特性使得開發(fā)者能夠利用AI推理引擎,打造出更加主動、持續(xù)的用戶體驗。

微軟在Phi Silica項目上的研究成果,為DeepSeek模型的NPU優(yōu)化提供了寶貴經(jīng)驗。通過高效的推理技術(shù),DeepSeek在首次生成token的時間和吞吐率方面均表現(xiàn)出色,同時對電池續(xù)航和PC資源消耗的影響降到了最低。DeepSeek還借鑒了多項關(guān)鍵技術(shù),包括模型分離以實現(xiàn)性能與效率的最佳平衡、低比特率量化以及Transformer到NPU的映射等。同時,微軟還利用Windows Copilot Runtime(WCR)通過ONNX QDQ格式在Windows生態(tài)系統(tǒng)中實現(xiàn)了廣泛擴(kuò)展。

對于想要體驗DeepSeek的用戶來說,只需下載AI Toolkit VS Code擴(kuò)展即可。而經(jīng)過ONNX QDQ格式優(yōu)化的DeepSeek模型也將很快出現(xiàn)在AI Toolkit的模型目錄中,用戶可以直接從Azure AI Foundry中拉取。下載完成后,用戶只需打開Playground加載“deepseek_r1_1_5”模型,并給出提示詞,即可開始體驗DeepSeek的強(qiáng)大功能。

除了為Copilot+ PC優(yōu)化的ONNX模型外,用戶還可以在Azure Foundry中嘗試云托管的源模型。只需點擊“DeepSeek R1”下的“Try in Playground”按鈕,即可輕松上手。

為了直觀展示原始模型與NPU優(yōu)化模型之間的差異,微軟還提供了以下示例圖。從圖中可以看出,在相同提示下,原始模型與NPU優(yōu)化模型的響應(yīng)雖然大致相同,但在推理能力等方面仍存在微小但確實存在的差異。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  RSS訂閱  |  開放轉(zhuǎn)載  |  滾動資訊  |  爭議稿件處理  |  English Version