近期，人工智能領域再次迎來轟動性消息，斯坦福大學和華盛頓大學的研究團隊，包括知名學者李飛飛在內，據(jù)稱以極低的成本——不到50美元的云計算費用，成功研發(fā)出一款名為s1的人工智能推理模型。這一消息迅速在AI圈內引發(fā)熱議。
據(jù)報道，s1模型在數(shù)學和編碼能力測試中的表現(xiàn)，與OpenAI的O1模型和DeepSeek的R1模型等業(yè)界頂尖推理模型不相上下。這一成就尤為引人注目，因為其所花費的成本相較于通常的高昂研發(fā)支出，簡直是天壤之別。然而，也有聲音指出，s1模型是通過蒸餾法從谷歌的Gemini2.0 Flash Thinking Experimental模型提煉而來。
為了深入了解s1模型的真相，我們詳細查閱了相關論文。論文摘要揭示了s1模型并非從零開始構建，而是站在了巨人的肩膀上。研究團隊首先精心策劃了一個包含1000個問題的小數(shù)據(jù)集s1K，這些問題均配有詳細的推理過程，篩選標準包括難度、多樣性和質量。接著，團隊開發(fā)了一種名為“預算強制”的方法，通過控制模型在測試時的思考時間來優(yōu)化性能。這種方法包括在模型思考過程中強制終止或延長思考時間，以促使模型修正錯誤的推理步驟。
關于“不到50美元”的成本，論文中并未直接提及。這一數(shù)字可能源于“訓練在16個NVIDIA H100 GPU上只需26分鐘”的表述。據(jù)財聯(lián)社報道，這50美元僅為云計算服務費用，不包括服務器、顯卡等硬件投入。這些硬件投入已由云廠商承擔，因此并未計入總成本。
面對“50美元復刻DeepSeek”的震撼標題，DeepSeek團隊也表達了看法。他們認為，s1模型能夠以極低成本達到與頂尖模型相當?shù)男阅埽赡艿靡嬗谀Ｐ图軜媱?chuàng)新、訓練策略突破以及硬件利用革新等多方面因素。同時，他們也肯定了蒸餾監(jiān)督微調作為一種有效的模型訓練方法，在模型壓縮、遷移學習和性能提升方面的優(yōu)勢。
據(jù)報道，阿里云證實了李飛飛團隊以阿里通義千問Qwen2.5-32B-Instruct開源模型為基礎，通過監(jiān)督微調訓練出s1-32B模型。該模型在數(shù)學及編碼能力方面取得了與OpenAI的o1和DeepSeek的R1等尖端推理模型相當?shù)男Ч?，甚至在競賽?shù)學問題上的表現(xiàn)更為出色。這一案例或許將為未來的AI研究提供新的方向。
然而，值得注意的是，蒸餾監(jiān)督微調雖然有效，但仍是建立在強大開源模型的基礎之上。因此，“50美元復刻DeepSeek”這樣的標題確實有些夸大其詞。s1模型的成功更多地展示了如何在有限資源下實現(xiàn)高效AI研發(fā)的可能性，而非完全顛覆現(xiàn)有的AI研發(fā)模式。
