【Computex 2024】NVIDIA 將 RTX 打造成最佳 AI PC 平台：發布 RTX AI 工具包、AIM SDK、ACE 和 Copilot Runtime

NVIDIA RTX AI 工具包推動 AI PC 平台發展

NVIDIA 推出了一系列新技術，旨在將其 RTX 平台提升為 AI PC 的最佳選擇。其中包括 RTX AI 工具包、AIM SDK、ACE 和支援 RTX 加速的 Copilot Runtime。

主要技術更新

RTX AI 工具包：

• 幫助開發者構建可在 PC 上運行的應用程式專用 AI 模型。
• 包括模型客製化、最佳化和部署工具。
• 預計將於 6 月推出，能使模型部署速度提升 4 倍，並減少 3 倍的包裝大小。

AIM SDK（AI Inference Manager）：

• 提供統一的推理 API，支援所有主要的推理後端和硬體。
• 包括 PC 和雲端推理的混合編排、低延遲整合和同時 CUDA 及圖形執行功能。

ACE NIMs（Avatar Cloud Engine Inference Microservices）：

• 提供自然語言理解、語音合成、面部動畫等功能。
• 支援本地和雲端部署，加速數位人員工和其他數位化體驗的實現。

具體應用案例

• Copilot Runtime：
  • 與微軟合作，為 Windows 和 web 應用程式提供 GPU 加速的小語言模型（SLM）。
  • 提供反應迅速的 AI 體驗。

• RTX Chatbot 和 TensorRT 支援：
  • 本地執行的聊天機器人，提供生成 AI 和大型語言模型（LLM）加速支援。
  • 無需雲端處理，直接在本地設備上進行推理。

產品展示與展望

NVIDIA 在 Computex 2024 上展示 ACE 技術，開發者也展示他們的 ACE 模型，這些技術顯現 NVIDIA 在 AI PC 領域的領導地位，並為未來的生成 AI 提供廣闊的前景。

歡迎加入我們的 Facebook 粉絲團，隨時掌握最新消息!
喜歡看圖說故事的話，也可以追蹤 Instagram 專頁!
我們也有 Threads 可以隨時 follow!