台灣 Skymizer 推出 HTX301 AI 加速卡，240W 輕鬆跑 700B 語言模型

Skymizer HTX301 AI 加速卡搭 384GB 記憶體，240W 帶來綠色 AI 新革命

過去要運行超大型語言模型，往往需要砸重金建置龐大的顯示卡運算叢集，但這個現狀即將被打破。總部位於台灣、專注於 AI 軟硬體開發的 Skymizer 近期正式發表全新的 HTX301 解決方案。這款採用標準 PCIe 介面設計的擴充卡，是專為企業本地端（On-Prem）AI 應用而生的劃時代產品。它最大的賣點在於能夠在低於 250W 的熱設計功耗下，提供媲美大規模 AI 基礎設施的運算效能。企業不僅能牢牢掌握自己的數據主權，還能享有固定的基礎設施成本與極度穩定的延遲表現，徹底解決了企業導入 AI 的痛點。

深入探討 HTX301 的硬體架構會發現它充滿了技術上的巧思，這款 PCIe AI 加速卡是首款基於 HyperThought 平台構建的推論晶片，該平台專為大語言模型（LLM）量身打造，並搭載了新一代的 LPU 矽智財。最令人驚豔的是，儘管晶片本身是採用相對成熟的 28nm 製程技術製造，但其效能表現卻毫不遜色。整張加速卡上搭載了 6 顆 HTX301 晶片，在 100 GB/s 的記憶體頻寬下，僅需 0.5 TOPS 的算力就能達到每秒 30 個 token 的驚人成績。

這款八核心 LPU 的實力不僅於此，在執行 Llama2 7B 模型的預填充（prefill）任務時，可展現出每秒 240 個 token 的流暢速度。透過多晶片串聯的高擴展性技術，它甚至能在相同的大語言模型中將速度飆升至每秒 1200 個 token ，並且完美支援高達 700B 參數等級的超大型模型推論任務。

在記憶體的選擇上，Skymizer 走了一條非常務實且高效的道路。HTX301 並沒有盲目追求市場上昂貴的 LP5X、HBM 或是 GDDR6 與 GDDR7 等頂規記憶體，而是選擇了穩定且標準的 LPDDR4 與 LPDDR5 DRAM。整張 PCIe 卡配備了高達 384GB 的超大記憶體容量，這種設計主要是為了在較低參數數量與 DRAM 頻寬需求之間取得完美的最佳化平衡。

為了進一步榨出極限效能，HTX301 架構還導入了極具效率的壓縮技術。在權重（也就是長期記憶）的壓縮表現上，它成功超越了開源的 llama.cpp，效能提升幅度介於 9% 到 17.8% 之間。而在 KV 快取（短期記憶）的壓縮處理上，研發團隊也成功將困惑度（perplexity）的損失控制在 0.06% 到 3.52% 的極微小範圍內，確保了運算結果的高度精準與可靠。

功耗管理絕對是這款加速卡最不容忽視的殺手級優勢。HTX301 運作時的最高功耗僅有 240W，這個數字甚至不到市場上頂級 PCIe AI 加速卡的一半。舉例來說，無論是 NVIDIA 陣營的 RTX PRO 6000 Blackwell 還是 AMD 推出的 Instinct MI350P，其功耗門檻都高達 600W。

這樣卓越的節能表現，結合其專屬打造的解碼加速技術與統一的預填充、解碼協調機制，讓入門級企業更有底氣將資金投入建置本地端伺服器，而不必再受限於昂貴且耗電的雲端 AI 服務。

Skymizer 已預告將在今年的 Computex 2026 展會上首度公開展示 HTX301 的實體與運算實力，這款在帳面數據上極為亮眼的 AI 神器是否真能掀起業界革命，值得持續關注！

延伸閱讀