近期，“歐洲版OpenAI”Mistral公司旗下的代碼模型CodeStral再度迎來重要更新，新版本在Copilot競技場中表現(xiàn)出色，與DeepSeek V2.5和Claude 3.5并駕齊驅(qū)，共同占據(jù)榜首位置。
CodeStral新版本的上下文窗口大小實現(xiàn)了顯著提升，增長至原先的8倍，達到了驚人的256k。這一改進無疑將為用戶帶來更加流暢和高效的代碼編寫體驗。
據(jù)了解，CodeStral新版本（2501）采用了更為高效的架構(gòu)和分詞器，使得生成速度相較于前一代提升了約2倍。在多個基準測試中，2501版本均取得了最優(yōu)異的表現(xiàn)，其代碼補全（FIM）能力同樣令人矚目。
Mistral的合作伙伴Continue.dev的聯(lián)合創(chuàng)始人Ty Dunn對CodeStral 2501給予了高度評價，認為它標志著FIM領域的重大進步。這一評價無疑進一步增強了用戶對CodeStral新版本的信心。
在Copilot競技場中，CodeStral 2501憑借出色的表現(xiàn)成功登頂。與DeepSeek V2.5和Claude 3.5 Sonnet并列第一，其得分相較于上一版本（2405）提高了12分，增幅達到1.2%。而Llama 3.1、Gemini 1.5 Pro和GPT-4o等模型則緊隨其后。
Copilot競技場由卡內(nèi)基梅隆大學和UC伯克利的研究人員與LMArena合作推出，旨在為用戶提供一個公平、透明的模型比較平臺。用戶可以通過出題并讓系統(tǒng)隨機選擇兩個模型進行匿名輸出，從而根據(jù)輸出結(jié)果選擇優(yōu)勝方。這一平臺可以看作是LLM競技場的代碼專用版本，同時也是一款開源編程工具，支持在VSCode中同時運行多個模型，方便用戶進行比較和選擇。
Mistral官方公布的數(shù)據(jù)顯示，CodeStral 2501在Humaneval等傳統(tǒng)測試中的多個指標上均取得了最優(yōu)成績。其窗口長度也從2405版本的32k增長至256k，進一步提升了模型的性能。在Python語言和SQL數(shù)據(jù)庫的測試中，CodeStral 2501在多個測試指標上均位列第一，其他語言測試中也表現(xiàn)出色，平均得分遠高于第二名。
具體來看，CodeStral 2501在Python、C++、Javascript等多種常用語言中均取得了最優(yōu)成績，并且在C#語言上的得分也超過了半數(shù)。然而，值得注意的是，在Java語言上，CodeStral 2501的成績相較于前一代有所下降。盡管如此，其整體表現(xiàn)仍然令人印象深刻。
除了生成能力外，Mistral團隊還發(fā)布了CodeStral 2501在FIM任務中的表現(xiàn)（單行精確匹配）。結(jié)果顯示，其平均成績以及Python、Java和Javascript三個單項的成績均相較于前一代有顯著進步，并且優(yōu)于OpenAI FIM API（最新版為3.5 Turbo）等其他模型。在FIM的pass@1指標中，CodeStral 2501同樣表現(xiàn)出色。
目前，用戶可以通過Mistral的合作伙伴Continue在VSCode或Jetbrains系列IDE中使用CodeStral 2501。同時，對于動手能力較強的用戶，也可以通過API自行部署該模型。其價格也相對親民，每百萬輸入/輸出token的價格為0.3/0.9美元或歐元。
