用 DDR4 跑 35B 大模型會燒條？國外玩家實測 90 分鐘 RAM 直接暴斃

為了應付複雜資料庫，玩家狠心在 DDR4 上推動 35B 密集運算

平常有在玩本地部署 AI 模型的朋友都知道，顯示卡記憶體不足時，把工作卸載到系統記憶體是常見解法。國外一名 Reddit 網友原先使用配備 16GB GDDR7 顯存的 RTX 5070 Ti 顯示卡執行 20B 規模的語言模型，長時間運行下來穩定順暢、毫無異狀。然而隨著工作需求增加，面對結構繁瑣的資料庫任務，20B 模型的表現逐漸顯得力不從心，於是他決定升級挑戰參數量高達 35B 的 Ornith-1.5-35B-A3B 模型。

Heavy local LLM use kills old ram
byu/Future_Fuel_8425 inLocalLLM

為了讓這顆大模型順利運作，他翻出工作站拆下來的 128GB DDR4 ECC 記憶體，以 16 條 8GB 模組插滿系統，試圖藉由大容量 RAM 來接手顯示卡滿載後溢出的運算任務。這套配置確實在初期展現不錯的推論品質，即便顯存吃滿後轉移到系統記憶體，生成速度也沒有明顯下滑。

就在他啟動運算、出門辦事大約 90 分鐘後返家，卻發現電腦早已無預警崩潰死機。經過逐一拆機排查，赫然發現其中一條 8GB DDR4 記憶體已經徹底損壞無法辨識。當時他還以為純粹是老舊記憶體碰巧遇到壽命極限的單一硬體故障，於是將壞掉的記憶體拔除，重組系統後繼續維持原設定進行高負載運算。

沒想到真正的考驗才剛開始，在持續運作了 8 到 9 天後，系統記錄檔再次跳出大量錯誤警告，顯示另一條 DDR4 記憶體也出現即將報銷的嚴重衰退跡象。接連兩條記憶體接連陣亡，也讓社群開始討論，一般消費級架構是否真能承受這類近乎嚴苛的 AI 讀寫轟炸。

事發後原 PO 出面強調硬體運作時「溫度不是問題」，但他所提供的監控數據僅有 CPU 與 GPU，兩者溫度均壓在 80°C 以內，卻完全沒有附上任何記憶體本身的溫度讀數。在多通道插槽全滿且沒有主動風扇對準吹拂的環境下，密集排列的記憶體在滿載時積熱現象往往超乎想像，因此的確仍然難以判斷是否真是記憶體過熱導致。

傳統消費級 DDR4 記憶體在設計之初，主要鎖定一般辦公、遊戲或間歇性工作，並不是為了面對大型語言模型這種不間斷、高頻寬且大量連續讀取的殘酷環境。相較之下，具備更佳散熱耐受度與晶片架構的新世代 DDR5 記憶體，在高負載推論中更具抗壓性。這次事件很可能是老舊模組的材料老化、長時間未歇的讀寫高壓，再加上機殼內部記憶體周邊風流不足共同造成的悲劇。

快速 Q&A 整理

為什麼該名玩家要使用 128GB DDR4 記憶體跑 AI 模型？

因為他使用的 RTX 5070 Ti 僅有 16GB VRAM，無法單靠顯存完整載入 35B 規模的 Ornith-1.5-35B-A3B 模型，因此需要透過 128GB 系統記憶體分擔超出的資料量。

這場硬體故障事件發生得有多快？

系統在執行 35B 大型語言模型僅 90 分鐘後就發生崩潰，導致第一條 8GB DDR4 記憶體損壞；拔除故障模組後繼續運行，約 8 至 9 天後第二條記憶體也出現嚴重錯誤。

玩家為何堅稱不是溫度過熱導致記憶體損壞？

該玩家表示處理器（CPU）與顯示卡（GPU）的溫度監控全程都沒有超過 80°C，但他在過程中並未提供記憶體本體的具體溫度數據。

外媒與技術專家推測記憶體陣亡的主因為何？

推測主因是老舊 DDR4 記憶體長時間承受高負載連續讀取，加上多條模組插滿缺乏獨立散熱風流，局部高溫累積與元件老化共同造成硬體衰退。

DDR4 與 DDR5 在面對本地 AI 推論時有何差異？

DDR5 具備更高的頻寬表現，且架構對於高溫與連續讀寫壓力的耐受度相對優於舊款 DDR4，更適合承擔超出顯存的大型模型卸載運算。

延伸閱讀