在人工智能領(lǐng)域，Transformer架構(gòu)一直被視為關(guān)鍵技術(shù)之一，其對(duì)于推動(dòng)通用大模型的發(fā)展起到了舉足輕重的作用。然而，隨著技術(shù)的不斷進(jìn)步，對(duì)于Transformer架構(gòu)的效率和性能提升也提出了新的挑戰(zhàn)。
近日，國(guó)內(nèi)領(lǐng)先的AI企業(yè)彩云科技在北京總部舉辦了一場(chǎng)主題為“From Paper to App”的溝通會(huì)，CEO袁行遠(yuǎn)在會(huì)上深入探討了通用大模型的未來(lái)進(jìn)化之路，并展示了公司最新的研發(fā)成果。
彩云科技在國(guó)際機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議ICML上發(fā)表了全新大模型論文，提出了創(chuàng)新的DCFormer架構(gòu)。該架構(gòu)通過(guò)動(dòng)態(tài)組合的多頭注意力機(jī)制，顯著提升了模型的表達(dá)能力和運(yùn)行效率。據(jù)袁行遠(yuǎn)透露，基于DCFormer架構(gòu)打造的模型在性能上實(shí)現(xiàn)了對(duì)Transformer模型的1.7-2倍提升，這一突破性的進(jìn)展為人工智能的發(fā)展注入了新的活力。
隨著通用大模型的規(guī)模不斷擴(kuò)大，其對(duì)于能源的需求也日益增長(zhǎng)。袁行遠(yuǎn)在會(huì)上指出，AI的能源困局已經(jīng)成為業(yè)內(nèi)共識(shí)，而改善大模型底層架構(gòu)、提升運(yùn)行效率是解決這一問(wèn)題的關(guān)鍵路徑。彩云科技的DCFormer架構(gòu)正是在這一背景下應(yīng)運(yùn)而生，旨在通過(guò)技術(shù)創(chuàng)新降低AI的能耗，推動(dòng)人工智能的可持續(xù)發(fā)展。
在溝通會(huì)上，彩云科技還正式推出了首款基于DCFormer架構(gòu)的通用大模型——云錦天章。袁行遠(yuǎn)介紹稱(chēng)，該模型以高雅、華美的文章為寓意，具備在虛構(gòu)世界觀(guān)基礎(chǔ)上賦予小說(shuō)人物基礎(chǔ)能力、高速擴(kuò)寫(xiě)縮寫(xiě)文章等強(qiáng)大功能。同時(shí)，云錦天章還兼具問(wèn)答、數(shù)學(xué)、編程等基礎(chǔ)能力，為用戶(hù)提供了更為豐富和智能的體驗(yàn)。
彩云科技旗下的AI RPG平臺(tái)彩云小夢(mèng)也迎來(lái)了全新升級(jí)?；贒CFormer架構(gòu)的彩云小夢(mèng)V3.5版本在流暢性、連貫性、記憶能力和邏輯性等方面均實(shí)現(xiàn)了顯著提升。新版本支持更長(zhǎng)的前文長(zhǎng)度和故事背景設(shè)定，使得人工智能在故事創(chuàng)作和對(duì)話(huà)中能夠更好地理解和記憶上下文信息，提供更加智能和個(gè)性化的服務(wù)。
袁行遠(yuǎn)表示，彩云科技將繼續(xù)加大對(duì)DCFormer架構(gòu)的研究和投入，以推動(dòng)公司在人工智能領(lǐng)域的持續(xù)創(chuàng)新和領(lǐng)先。他相信，隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷拓展，基于DCFormer架構(gòu)的通用大模型將在未來(lái)發(fā)揮更加重要的作用。
