近日，谷歌旗下的DeepMind團隊宣布了一項名為“可微緩存增強”的創(chuàng)新技術，這一技術旨在優(yōu)化大型語言模型（LLMs）的推理性能，同時避免大幅增加計算成本。
在自然語言處理、數學運算及邏輯推理等領域，大型語言模型已成為解決復雜問題的關鍵工具。隨著技術的不斷進步，研究人員致力于提升這些模型的數據處理能力，使其能夠生成更精確、更符合上下文的響應。然而，隨著模型復雜度的增加，如何在有限的計算資源下保持高效運行成為一大挑戰(zhàn)。
一個顯著的問題是，現(xiàn)有的大型語言模型往往難以在不同任務間進行有效的推理，或執(zhí)行超出其預訓練架構的計算。為了提高模型性能，研究人員通常會嘗試在任務處理過程中生成中間步驟，但這通常會導致延遲增加和計算效率低下。這一限制嚴重影響了模型執(zhí)行復雜推理任務的能力，特別是那些需要長距離依賴關系或高精度預測的任務。
“可微緩存增強”技術通過引入一個經過訓練的協(xié)處理器，以潛在嵌入的方式增強LLMs的鍵值（kv）緩存，從而豐富了模型的內部記憶。這一方法的關鍵在于，保持基礎LLMs不變，同時異步訓練協(xié)處理器。通過這種方式，研究團隊成功地在不犧牲計算效率的情況下，顯著提升了模型性能。
整個處理流程分為三個關鍵階段：首先，凍結的LLMs從輸入序列中生成kv緩存；接著，協(xié)處理器利用可訓練軟令牌處理這些kv緩存，生成潛在嵌入；最后，增強的kv緩存被反饋回LLMs，以生成更豐富的輸出。這一創(chuàng)新方法不僅簡化了模型處理復雜任務的過程，還提高了其準確性和效率。
在Gemma-2 2B模型上的測試結果顯示，“可微緩存增強”技術在多個基準測試中均取得了顯著成果。例如，在GSM8K數據集上，準確率提高了10.05%；在MMLU基準測試中，性能提升了4.70%。該方法還顯著降低了模型在多個標記位置的困惑度，進一步證明了其有效性。
DeepMind的這一研究成果為大型語言模型的推理能力增強提供了新的視角和解決方案。通過引入外部協(xié)處理器來增強kv緩存，研究團隊在保持計算效率的同時，實現(xiàn)了模型性能的顯著提升，為LLMs處理更復雜、更具挑戰(zhàn)性的任務奠定了堅實基礎。
