在科技界引發(fā)轟動的最新消息中，EXO Labs成功地在一臺擁有26年歷史的Windows 98系統(tǒng)上運行了大型語言模型（LLM）。這一壯舉不僅展示了技術(shù)的非凡能力，也彰顯了EXO團(tuán)隊對于“民主化AI”理念的執(zhí)著追求。
EXO Labs，這個由牛津大學(xué)研究人員和工程師組成的團(tuán)隊，他們的使命是打破大型企業(yè)對AI技術(shù)的壟斷，讓更多人能夠接觸到前沿的AI技術(shù)。他們認(rèn)為，AI技術(shù)應(yīng)該被民主化，而不應(yīng)被少數(shù)大型企業(yè)所掌控，這對于文化、真理和社會的其他基本方面都是不利的。
為了證明這一點，EXO團(tuán)隊在Windows 98這臺老舊的電腦上進(jìn)行了AI演示。他們詳細(xì)記錄了整個過程，從購買這臺Windows 98 PC作為項目基礎(chǔ)，到面臨數(shù)據(jù)傳輸、代碼編譯等一系列挑戰(zhàn)。尤其是數(shù)據(jù)傳輸，他們不得不使用古老的FTP方式，通過以太網(wǎng)端口進(jìn)行文件傳輸，這無疑增加了項目的難度。
在Windows 98上運行的LLM，雖然受限于硬件條件，但表現(xiàn)依然不俗。使用260K LLM和Llama架構(gòu)，他們實現(xiàn)了“35.9 tok/s”的速度。雖然升級到15M LLM后，生成速度略有下降，但仍然保持在1 tok/s左右。而Llama 3.2 1B的速度雖然較慢，但也達(dá)到了0.0093 tok/s。
EXO Labs的這一壯舉，不僅展示了AI技術(shù)的強(qiáng)大和靈活性，也讓我們看到了“民主化AI”理念的巨大潛力。他們相信，通過開放的基礎(chǔ)設(shè)施和前沿模型的訓(xùn)練，任何人都能在任何地方運行AI技術(shù)，這將極大地推動AI技術(shù)的普及和發(fā)展。
