蘋果與 NVIDIA 攜手研發 ReDrafter 技術，提升 2.7 倍大型語言模型性能

蘋果與 NVIDIA 攜手研發 ReDrafter 技術

蘋果表示與 NVIDIA 正攜手合作，研究名為 ReDrafter 的新技術，目標是透過改進文本生成效率來提升大型語言模型（LLM）性能。此創新技術目前已整合至 NVIDIA TensorRT-LLM 推理加速框架中，顯著提高運算速度並降低能耗。

ReDrafter 技術結合 Beam Search 和 Tree Attention 兩種算法，用於提升文本生成性能。其核心優勢包括：

• 高效生成：通過加速生成 token 速度實現高效推理。
• 降低延遲與功耗：減少用戶在使用 LLM 時可能遇到的延遲，並有效降低 GPU 使用數量與能耗。

根據基準測試，ReDrafter 技術在 NVIDIA GPU 上運行數百億參數的生產模型時，可實現 2.7 倍的 token 生成速度提升，特別在貪婪解碼模式（Greedy Decoding）中表現卓越。

為支援 ReDrafter 技術的應用，NVIDIA 對 TensorRT-LLM 框架進行多項優化，包括新增或曝光先前未使用的操作算子，使其能更好地支援複雜模型與解碼方法。ML 開發者現在可利用 TensorRT-LLM 框架中的 ReDrafter 技術，將其應用於生產環境中的大型語言模型，提升運算效率。

儘管蘋果通常專注於其自家技術（如未來的 M4 Ultra 晶片），但這次合作也顯示兩家公司願意在特定領域達成共同目標。然而，長期合作的可能性仍然存疑，這更像是一種針對單一技術的短期合作模式，就目前蘋果在 AI 領域仍處在落後階段來看，這樣的合作應該還是必要的。

歡迎加入我們的 Facebook 粉絲團，隨時掌握最新消息!
喜歡看圖說故事的話，也可以追蹤 Instagram 專頁!
我們也有 Google News 可以隨時 follow!