AI 記憶體的戰場，已經悄悄移到你看不到的地方。 美光今天財報爆發，HBM 供不應求，大家都在搶高頻寬記憶體。但行業裡更深層的競爭，其實是一場「降低每次推理成本」的軍備競賽。HBM 一顆動輒數百美元，算一次 token 的成本居高不下，這對 AI 大規模商業化是真實的天花板。 AMD 最近收購了一家叫 MEXT 的公司，專門用 AI 預測哪些資料會從 SSD 被搬進 DRAM——提前做好，不讓 GPU 乾等。同一時間，NVIDIA 推出了 CMX 平台，概念是在 HBM 和一般儲存之間插入一層「G3.5」，用 NVMe SSD 接住 KV Cache 這類不需要最快速度、但量大的資料。BlueField-4 DPU 加上 RDMA，讓 SSD 的讀取速度在 AI 眼裡幾乎接近記憶體。 邏輯很清楚：讓昂貴、產能有限的 HBM 只處理最核心的運算，其餘的工作交給相對便宜、容量巨大的快閃記憶體。同樣一個 AI 模型，這樣架構的成本可以壓低三到五成。 這也解釋了為什麼台積電封裝、南亞科、群聯這些不只做 DRAM 的公司，近期在法人名單上持續出現。AI 記憶體的需求不是只有 HBM——整條階層式記憶體架構都在重新定價。誰能把單次推理成本降到最低，誰就能在 AI 應用大爆發的下一階段活下來。