在AI行業(yè)的激烈競爭中，一家名為MiniMax的公司在近期發(fā)布了一項引人注目的成果——MiniMax-01系列模型。這款模型在參數(shù)規(guī)模上突破了4000億大關(guān)，并且采用了創(chuàng)新的線性Attention機制，使其能夠高效處理長達400萬token的上下文，這一成就讓其在全球范圍內(nèi)獨樹一幟。
然而，這項技術(shù)的背后卻隱藏著一個與游戲行業(yè)緊密相關(guān)的故事。MiniMax-01模型的核心架構(gòu)——Lightning Attention，其理論基礎(chǔ)竟源自一位在心動公司TapTap增長和商業(yè)化部門（IEM）AI團隊工作的算法研究員秦臻。
秦臻的研究在近年來不斷取得突破，他的論文從2022年至2024年持續(xù)更新，為MiniMax的模型提供了重要的理論支撐。這一成果不僅讓AI大模型的“記憶”能力顯著提升，而且成本相比GPT-4降低了10倍，引起了海外業(yè)界的廣泛熱議和贊譽。
令人驚訝的是，秦臻并非來自專業(yè)的AI創(chuàng)業(yè)公司，而是在心動公司的TapTap部門擔(dān)任算法研究員。這一發(fā)現(xiàn)引發(fā)了人們對心動公司AI團隊的好奇和關(guān)注。心動公司雖然并非以AI為主業(yè)，但其對AI技術(shù)的探索和投入?yún)s顯得頗為超前和包容。
據(jù)秦臻透露，他在上一家公司小組解散后，曾考慮過多家大廠的機會，但最終選擇了心動公司。他看中的是心動提供的寬松自由的研發(fā)氛圍和相對充足的算力資源。盡管與業(yè)務(wù)關(guān)聯(lián)不大，但心動公司依然支持AI團隊的探索性研究，為秦臻提供了寶貴的研發(fā)環(huán)境。
心動公司TapTap IEM AI算法組的Leader賴鴻昌表示，公司一直抱著長期主義的態(tài)度看待AI技術(shù)，鼓勵團隊進行探索性嘗試。這種包容和支持的環(huán)境最終促成了秦臻在線性Attention方向上的突破。
秦臻的研究成果不僅為MiniMax的模型提供了理論支持，也讓他在學(xué)術(shù)界和工業(yè)界獲得了廣泛的認(rèn)可。他的多篇論文被發(fā)表于頂級期刊，并被持續(xù)研究相關(guān)技術(shù)的團隊引用和發(fā)揚光大。
通過與秦臻和賴鴻昌的交流，我們深刻感受到，重大的技術(shù)突破往往需要耐心、包容的環(huán)境和長期主義的堅持。正如秦臻所說：“如果你做的事真的很有價值，最后一定會有它被用上的一天?！?/p>
心動公司的AI團隊正是這樣一個堅持探索、勇于嘗試的典范。他們雖然身處游戲行業(yè)，但對AI技術(shù)的熱情和投入?yún)s毫不遜色于專業(yè)的AI公司。這種跨界融合的精神，或許正是未來技術(shù)創(chuàng)新的重要驅(qū)動力。
