近期，“歐洲版OpenAI”之稱的Mistral公司，宣布其代碼模型CodeStral再度升級，新版本2501在多個維度上實現(xiàn)了顯著飛躍。
在備受矚目的Copilot競技場中，CodeStral 2501與DeepSeek V2.5及Claude 3.5 Sonnet并駕齊驅(qū)，共同占據(jù)榜首位置。這一成就不僅彰顯了CodeStral的技術(shù)實力，也反映了其在代碼生成領域的深厚積累。
據(jù)悉，CodeStral 2501采用了更為高效的架構(gòu)與分詞器，使得其生成速度相較于前代提升了近兩倍。這一改進不僅提高了用戶體驗，也為大規(guī)模代碼生成任務提供了有力支持。
在多個基準測試中，CodeStral 2501均取得了SOTA（State-of-the-Art）成績，特別是在代碼補全（FIM）能力上，更是表現(xiàn)突出。Continue.dev聯(lián)合創(chuàng)始人Ty Dunn對此表示，CodeStral 2501標志著FIM領域的重大進步，為開發(fā)者提供了更為強大的工具。
在Copilot競技場中，CodeStral 2501的得分相較于上一版本2405提高了12分，以微弱優(yōu)勢領先。而Llama 3.1、Gemini 1.5 Pro及GPT-4o等模型則緊隨其后，形成了激烈的競爭態(tài)勢。值得注意的是，如果o1模型也加入競技場，那么競爭格局或?qū)⑦M一步復雜化。
Copilot競技場由卡內(nèi)基梅隆大學與UC伯克利的研究人員合作推出，旨在為用戶提供一個公平、透明的代碼模型評估平臺。用戶可以通過出題并讓系統(tǒng)隨機選擇兩個模型進行匿名輸出，然后根據(jù)輸出質(zhì)量選擇優(yōu)勝方。這一機制不僅有助于提升代碼模型的技術(shù)水平，也為開發(fā)者提供了更為豐富的選擇。
在Humaneval等傳統(tǒng)測試中，CodeStral 2501同樣取得了SOTA成績。特別是在Python語言和SQL數(shù)據(jù)庫的測試中，CodeStral 2501在多個測試指標上均位列第一，充分展示了其強大的代碼生成能力。CodeStral還支持80多種編程語言，在多種常用語言中也均取得了優(yōu)異表現(xiàn)。
除了生成速度和質(zhì)量上的提升，CodeStral 2501的上下文窗口長度也大幅增長至256k，是前一代的8倍。這一改進使得模型能夠更好地理解長文本上下文，從而生成更為準確、連貫的代碼。
在FIM表現(xiàn)方面，CodeStral 2501同樣取得了顯著進步。其平均成績以及Python、Java和JS三個單項成績均優(yōu)于前一代，并且優(yōu)于OpenAI FIM API等其他模型。特別是在Python語言中，CodeStral 2501的表現(xiàn)尤為突出。
目前，CodeStral 2501已通過Mistral的合作方Continue，在VSCode或Jetbrains系列IDE中提供使用。對于動手能力強的用戶，也可以通過API自行部署。這一舉措不僅降低了使用門檻，也為開發(fā)者提供了更為靈活的選擇。
