Carmack等提议用廉价闪存替代HBM降低推理成本

针对AI加速器昂贵的内存成本瓶颈，John Carmack及半导体分析师指出，模型推理具有确定性的内存访问模式，并不需要真正的随机访问。因此，业界探讨了使用廉价的NAND闪存替代昂贵的HBM来存储模型权重的方案。这种“高带宽闪存”概念有望大幅降低对HBM的依赖，从而有效削减大模型的推理硬件成本。

2026-07-07 ~ 2026-07-08 · 2 条相关

• Carmack：用 NAND 闪存替代 HBM 降低推理成本 — ID_AA_Carmack · 2026-07-07
• 用廉价闪存替代HBM存模型权重 — BenBajarin · 2026-07-08