TechSpace 鐵客空間

每日科技新聞新知、硬體開箱評測、賣場優惠!

想訓練大型語言模型?Intel Gaudi2 晶片是 NVIDIA 的唯一替代品

Intel 和 Habana 發布了 MLPerf 訓練基準測試,其中包含了一些非常有趣的結果,由於 NVIDIA 在 AI 領域的長年布局,其 AI GPU 基本可作為訓練 LLM 大型語言模型首選,但測試結果中發現,Intel 的 Gaudi2 晶片現在是唯一替代品。
Intel Habana Gaudi Featured Image 740x395 1 jpg

Intel Habana Gaudi Featured Image 740x395 1 jpg

Intel 和 Habana 發布了 MLPerf 訓練基準測試,其中包含了一些非常有趣的結果,由於 NVIDIA 在 AI 領域的長年布局,其 AI GPU 基本可作為訓練 LLM 大型語言模型首選,但測試結果中發現,Intel 的 Gaudi2 晶片現在是唯一替代品。

Gaudi2 性能

Intel 聲稱 Gaudi2 在 FP16 工作負載中的價格 / 性能比 NVIDIA A100 更好,並且預計在 9 月份(在 FP8 工作負載中)超越 NVIDIA H100。這是一個相當有野心的目標,但 Intel 有基準測試來支持這一點。

以下是一些結果的概述:

  • Gaudi2 在 GPT-3 上提供了令人印象深刻的訓練時間:在 384 個加速器上為 311 分鐘。
  • 在 GPT-3 模型上,從 256 到 384 個加速器的近線性 95% 縮放。
  • 在 ResNet-50 8 個加速器和 Unet3D 8 個加速器計算視覺和 BERT 8 和 64 個加速器自然語言處理模型上,獲得了出色的訓練結果。
  • 與 11 月提交的 BERT 和 ResNet 模型相比,性能分別提高了 10% 和 4%,這證明了 Gaudi2 軟體的成熟度正在增長。
  • Gaudi2 的結果是「開箱即用」,意味著客戶在實施 Gaudi2 時可以獲得相似的性能結果,無論是在現場還是在雲端。

雖然 NVIDIA GPU 需求量大,但畢竟其供應量有限,市場將對能夠訓練 LLM的晶片需求大,而這也是 Intel Gaudi2 可能能夠解救的地方。

Intel Briefing Slides MLPerf 06 22 23 FINAL page 010 1456x1125 1

歡迎加入我們的 Facebook 粉絲團,隨時掌握最新消息!
喜歡看圖說故事的話,也可以追蹤 Instagram 專頁!
我們也有 Google News 可以隨時 follow!

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *