企查查APP顯示，近日，騰訊科技（深圳）有限公司申請(qǐng)的“大語(yǔ)言模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)”專(zhuān)利公布。
專(zhuān)利摘要顯示，在該方法中，通過(guò)在大語(yǔ)言模型的訓(xùn)練過(guò)程中引入第一摘要文本和第二摘要文本，為模型訓(xùn)練提供了更多可學(xué)習(xí)信息，同時(shí)由于第一摘要文本和第二摘要文本包含的信息量不同，且第一摘要文本中包含正確語(yǔ)句和錯(cuò)誤語(yǔ)句，通過(guò)對(duì)同一樣本文本的兩個(gè)不同摘要文本進(jìn)行對(duì)比學(xué)習(xí)，并區(qū)分學(xué)習(xí)第一摘要文本中的正確語(yǔ)句和錯(cuò)誤語(yǔ)句，避免了由于摘要文本單一而導(dǎo)致的模型過(guò)擬合和生成不準(zhǔn)確等問(wèn)題，不僅提高了模型的泛化性能，還提高了模型的準(zhǔn)確性。
