TechSpace 鐵客空間

每日科技新聞新知、硬體開箱評測、賣場優惠!

Intel Arc GPU 支援 PyTorch 擴展,提升 AI 深度學習與 LLM 能力

Intel Arc 系列 GPU 現支援 PyTorch 擴展,加速 AI 深度學習與大型語言模型(LLM)的能力,開創新的計算領域。
Intel Arc A Series GPUs PyTorch AI

Intel Arc GPU 與 PyTorch 擴展完美結合

Intel Arc 系列 GPU 現已支援 PyTorch 的 Intel 擴展(IPEX),這意味著在深度學習和大型語言模型(LLM)方面,AI 能力將得到進一步的提升。

Intel Arc A Series GPUs PyTorch AI 1

基於 Alchemist 架構的 Intel Arc A 系列 GPU 擁有豐富的硬體潛力,Intel 的軟體部門已經在遊戲性能優化方面做得很好(每次驅動更新都帶來明顯效能提升),現在焦點將轉向不斷增長的 AI 市場,這些 GPU 上本身擁有的 XMX 單元將得到充分利用。

Intel Arc A Series GPUs PyTorch AI 2

Intel 確認,IPEX(PyTorch 的 Intel 擴展)現支援 Windows、Linux 和 WSL2 平台上的 Arc A 系列 GPU。這一新加的支援不僅能加速如 LLM 這樣的深度學習模型,還能為 Intel 硬體帶來新優化,使性能更快,並允許用戶在 Alchemist 系列 GPU 上執行 PyTorch 模型。

Intel Arc A Series GPUs PyTorch AI 3

加速深度學習與 LLM 的性能

對於擁有 Intel Arc A 系列 GPU 並希望在 PyTorch 中利用其 XMX AI 引擎的用戶,Intel 已在其官方部落格中詳細介紹如何在 Windows 和 WSL2 上運行 Llama 2 介面。Intel 的 AI 軟體團隊表示,因為 GPU 在大規模數據並行處理和高記憶體頻寬方面表現出色,非常適合大型語言模型(LLM)工作負載,包括 Arc A770 Graphics 在內的 Arc A 系列圖形卡是高性能圖形卡,擁有多達 512 個 Xe Matrix Extensions(XMX)引擎,為深度學習模型的加速執行提供優秀能力。

Intel Arc A Series GPUs PyTorch AI 4

IPEX 擴展通過利用 Intel 獨立 GPU 上的 XMX 引擎,為 PyTorch 帶來最新性能優化。IPEX 擴展使 PyTorch XPU 設備成為可能,從而輕鬆將 PyTorch 模型和輸入數據轉移到設備上,在 Intel 獨立 GPU 上實現 GPU 加速執行。

最新版本的 IPEX(v2.1.10+xpu)正式支援在 WSL2、原生 Windows 和原生 Linux 上的 Arc A 系列圖形卡。透過 Ipex 在 Windows 和 WSL2 上運行 Llama 2 7B 和 Llama 2-Chat 7B 推論已被演示。

簡化 Arc A 系列 GPU 上的模型運行

要在 Arc A 系列 GPU 上運行 Llama 2 或任何其他 PyTorch 模型,只需添加幾行額外的代碼,導入 intel_extension_for_pytorch 並使用 .to("xpu") 將模型和數據轉移到設備上,便可在 Arc A 系列 GPU 上執行。

Intel 擴展對其 Arc A 系列 GPU 的支援,對於 NVIDIA 和 AMD 在提供針對消費者硬體的迅速 AI 支援方面一直領先的市場來說,終究是一件好事。

歡迎加入我們的 Facebook 粉絲團,隨時掌握最新消息!
喜歡看圖說故事的話,也可以追蹤 Instagram 專頁!
我們也有 Google News 可以隨時 follow!

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *