騰訊科技（深圳）有限公司在人工智能領(lǐng)域的又一重大突破于近日揭曉，其申請(qǐng)的“大語(yǔ)言模型訓(xùn)練新法及配套設(shè)施”專利于2月7日正式對(duì)外公布。此專利通過(guò)引入一種創(chuàng)新的對(duì)比學(xué)習(xí)機(jī)制，在大語(yǔ)言模型訓(xùn)練中巧妙利用多重摘要文本，實(shí)現(xiàn)了模型泛化能力與生成準(zhǔn)確性的顯著提升，為AI語(yǔ)言處理技術(shù)開(kāi)啟了新的探索路徑。
具體而言，騰訊的新專利創(chuàng)造性地設(shè)計(jì)了“第一摘要文本”與“第二摘要文本”的概念，兩者在信息量和內(nèi)容構(gòu)成上均有所不同，其中第一摘要文本還特別包含了正確與錯(cuò)誤語(yǔ)句的混合。模型在學(xué)習(xí)過(guò)程中，通過(guò)對(duì)這兩種摘要的對(duì)比分析，能夠更有效地識(shí)別并區(qū)分正確與錯(cuò)誤的表達(dá)方式，同時(shí)顯著降低了因單一數(shù)據(jù)源而引發(fā)的過(guò)擬合風(fēng)險(xiǎn)。這一設(shè)計(jì)不僅極大地豐富了模型的學(xué)習(xí)維度，還通過(guò)動(dòng)態(tài)調(diào)整策略，進(jìn)一步優(yōu)化了生成結(jié)果的準(zhǔn)確性和可靠性。
騰訊的這一創(chuàng)新之舉與近年來(lái)對(duì)比學(xué)習(xí)在文本摘要領(lǐng)域的廣泛應(yīng)用趨勢(shì)不謀而合。先前的研究已經(jīng)表明，通過(guò)構(gòu)造正負(fù)樣本并調(diào)整模型表示空間，對(duì)比學(xué)習(xí)在提升摘要質(zhì)量、緩解暴露偏差等方面取得了顯著成效。騰訊此次將對(duì)比學(xué)習(xí)框架成功融入大語(yǔ)言模型的訓(xùn)練中，無(wú)疑是對(duì)該技術(shù)應(yīng)用邊界的又一次重要拓展。
有業(yè)內(nèi)人士分析指出，騰訊的這項(xiàng)專利通過(guò)構(gòu)建多樣化的摘要文本及高效的對(duì)比學(xué)習(xí)機(jī)制，為模型提供了一個(gè)更加貼近實(shí)際應(yīng)用場(chǎng)景的學(xué)習(xí)環(huán)境。這對(duì)于智能客服、內(nèi)容生成等需要高精度輸出的領(lǐng)域來(lái)說(shuō)，具有極其重要的實(shí)踐意義。該技術(shù)還有望加速大模型在實(shí)際應(yīng)用中的落地進(jìn)程。例如，在短文本對(duì)話場(chǎng)景中，騰訊此前已推出的基于混合注意力機(jī)制的對(duì)話模型專利，若能與這一新的訓(xùn)練方法相結(jié)合，無(wú)疑將進(jìn)一步提升回復(fù)的相關(guān)性和豐富性，為用戶帶來(lái)更加自然流暢的交互體驗(yàn)。
回顧騰訊近年來(lái)在大語(yǔ)言模型領(lǐng)域的布局，從2023年的微調(diào)方法專利到此次訓(xùn)練框架的創(chuàng)新，每一步都彰顯了其在人工智能全鏈條技術(shù)領(lǐng)域的深厚積累和前瞻視野。騰訊正以其不懈的努力和持續(xù)的創(chuàng)新，推動(dòng)AI語(yǔ)言處理技術(shù)不斷向前發(fā)展。
