AI 或破解記憶體缺貨困局 OpenAI 傳將公開全新記憶體技術
目前大型 AI 模型對記憶體容量及頻寬要求極高，因此高效能 AI 晶片大多採用 HBM，其用量約為 DDR5 記憶體的 2 至 3 倍，也成為近期 HBM 供應緊張及價格持續攀升的重要原因。
消息指出，由 OpenAI 分拆出來的一支團隊，近期已在 AI 記憶體效率方面取得重大技術突破，並預計將於短期內正式公布。不過，目前官方尚未公開技術細節。
AI 社群已有不少討論認為，這項技術可能與 KV Cache（Key-Value Cache） 優化有關。熟悉 DeepSeek 模型的開發者對此概念並不陌生，外界普遍認為，DeepSeek V4 能夠有效降低推理成本，其中一項關鍵便是對 KV Cache 的高效率運用。
若 OpenAI 採用相近方向，重點將不是繼續增加 HBM 用量，而是透過更有效率的記憶體管理，降低對高成本記憶體的依賴，並將部分資料轉移至容量更大、成本更低的 NAND 快閃記憶體儲存。
另一方面，業界近年亦一直研究 HBF（High Bandwidth Flash）等高頻寬快閃記憶體技術。消息分析認為，OpenAI 今次公布的技術亦有可能與相關技術方向有關，推動高效能快閃記憶體進一步實際部署。雖然 NAND 在延遲及寫入速度方面仍難以媲美 HBM，但若能提供接近 HBM4 等級、約 1,638GB/s 的讀寫頻寬，便有機會分擔大量 AI 工作負載。
若相關技術最終能夠大規模部署，AI 資料中心對 HBM 的需求有望明顯下降，進一步緩解目前記憶體缺貨及價格持續上升的情況。
不過，市場亦預期這種技術可能帶動 NAND 快閃記憶體需求增加，令快閃記憶體價格面臨上升壓力。由於 NAND 成本仍遠低於 HBM，因此從整體成本效益而言，降低 HBM 用量仍可能成為 AI 業界的重要發展方向。