【ITBEAR】微軟公司近日宣布了一項(xiàng)重大開(kāi)源成果——bitnet.cpp，這一創(chuàng)新框架專(zhuān)為1-bit大語(yǔ)言模型（LLM）設(shè)計(jì)，旨在實(shí)現(xiàn)超高效推理。通過(guò)bitnet.cpp，用戶(hù)無(wú)需依賴(lài)GPU，即可在本地設(shè)備上流暢運(yùn)行規(guī)模達(dá)1000億參數(shù)的語(yǔ)言模型。
bitnet.cpp不僅帶來(lái)了6.17倍的速度提升，還顯著降低了能耗，降幅高達(dá)82.2%。這一突破解決了傳統(tǒng)大語(yǔ)言模型對(duì)GPU和電力的高需求問(wèn)題，使得小型企業(yè)和個(gè)人用戶(hù)也能以較低成本享受AI技術(shù)。
該框架支持1-bit LLMs的高效計(jì)算，并優(yōu)化了內(nèi)核以最大化CPU推理性能。目前，bitnet.cpp已支持ARM和x86 CPU，未來(lái)還計(jì)劃擴(kuò)展至NPU、GPU和移動(dòng)設(shè)備。
根據(jù)測(cè)試結(jié)果，bitnet.cpp在ARM CPU上的加速比為1.37x至5.07x，x86 CPU上則為2.37x至6.17x，能耗減少55.4%至82.2%。
bitnet.cpp的推出有望重塑LLMs的計(jì)算范式，減少對(duì)硬件的依賴(lài)，為本地LLMs的發(fā)展鋪平道路。同時(shí)，它還能增強(qiáng)隱私保護(hù)，降低數(shù)據(jù)發(fā)送至外部服務(wù)器的需求。微軟的“1-bit AI Infra”計(jì)劃中，bitnet.cpp扮演著舉足輕重的角色。
