NVIDIA Hopper H200 於最新 MLPerf 4.0 測試中保持領先：搭配 TensorRT-LLM 在 GenAI 表現提升高達 3 倍

NVIDIA Hopper H200 在 MLPerf v4.0 中提升高達 3 倍的性能

NVIDIA 透過其強大的 TensorRT-LLM 套件持續推動 AI 的發展，在最新的 MLPerf v4.0 結果中，將 H200 性能提升到新的高度。

生成式 AI（Generative AI，簡稱 GenAI）是一個新興的市場，所有硬體製造商都在努力搶奪自己的市佔，但儘管他們付出最大努力，目前仍是 NVIDIA 拿下最大份額，而且 NV 還在不斷前進，在 MLPerf v4.0 的推理結果中展示非常強勁的基準測試和記錄。

自去年推出 AI 軟體套件以來，TensorRT-LLM 的微調工作就一直在進行。在之前的 MLPerf v3.1 結果中就看到顯著性能提升，現在在 MLPerf v4.0 中，NVIDIA 正進一步提升 Hopper 的性能。推理之所以重要，是因為它佔據了資料中心收入的 40%。推理工作負載包括 LLM（大型語言模型）、視覺內容和推薦系統。隨著這些模型的規模不斷增大，複雜性也隨之增加，因此需要同時具備強大的硬體和軟體。

這也是為什麼 TensorRT-LLM 作為一個與 NVIDIA GPU 架構共同設計的最先進推理編譯器而存在。TensorRT-LLM 的一些特點包括：

• 串流序列批次處理（優化 GPU 利用率）
• KV 快取管理（更高的 GPU 記憶體利用率）
• 通用注意力機制（XQA 核心）
• 多 GPU 多節點
• FP8 量化（更高性能和容納更大模型）

使用最新的 TensorRT-LLM 優化，相比 MLPerf v3.1，NVIDIA 在 MLPerf v4.0 中為其 Hopper GPU（如 H100）擠出額外 2.9 倍性能。在基準測試結果中，NVIDIA 在 MLPerf Llama 2（70 億）中創下新的性能記錄，H200（預覽版）每秒可生成高達 31,712 個 參數，H100 每秒可生成 21,806 個。

值得一提的是，H200 是在大約一個月前進行基準測試的，而這也是為什麼它會被標註為預覽狀態的原因，但 NVIDIA 表示，他們已開始向客戶提供樣品，並將在第二季開始出貨。

得益於其更高的 141GB HBM3E 記憶體配置和高達 4.8 TB/s 的更快頻寬，NVIDIA H200 在 Llama 2 中比 H100 提供額外 45% 的性能提升。同時，H200 相對於 Intel 的 Gaudi 2 來說同樣是個猛獸，後者是在 MLPerf v4.0 基準測試中提交的唯一其他競爭解決方案，但 H100 也以 2.7 倍的巨大優勢位居第二。

除此之外，在伺服器和離線場景中，一個搭載 8 GPU 的 NVIDIA HGX H200 系統在 Stable Diffusion XL 基準測試中分別達到每秒 13.8 個查詢和每秒 13.7 個樣本，打破了記錄。

雖然 H200 與 H100 平台可以直接相容，但 H200 還有一個客製化的散熱設計版本，以 MGX 平台（GPU+CPU+DPU）的形式存在，可將 TDP 提高到 1000W，比標準風冷版本提高 14% 的性能。客製解決方案可從 ASRock Rack、ASUS、Gigabyte、Pegatron、QCT 和 Supermicro 等 OEM 廠商獲得。此外，H200 也有望從 NVIDIA 的大量 CSP 和 OEM 合作夥伴那裡獲得。

NVIDIA 的 Hopper H200 的基礎 TDP 為 700W，客製化設計最高可達 1000W。新一代 Blackwell GPU 有 700W（B100）和 1000 / 1200W（B200）兩種配置。聊到 Blackwell GPU，NVIDIA 確認只有 B100 可以與 Hopper 系統直接相容，而 B200 則需要完全不同的機殼和系統設計。第一批 Blackwell 系統將於今年稍晚上市，可以期待在未來的 MLPerf 提交中看到這些系統的結果。

延伸閱讀

• NVIDIA Blackwell GPU 架構正式公佈：2080 億電晶體、5 倍 AI 性能、192GB HBM3e 記憶體、8TB/s 頻寬
• NVIDIA Blackwell GB202 遊戲晶片將採用台積電 4NP 製程，大幅改善快取和 SM 吞吐量
• NVIDIA Blackwell GPU 售價約 3~4 萬美元，開發成本高達 100 億美元，打造全球最快 AI 晶片

歡迎加入我們的 Facebook 粉絲團，隨時掌握最新消息!
喜歡看圖說故事的話，也可以追蹤 Instagram 專頁!
我們也有 Google News 可以隨時 follow!