Carmack：用 NAND 闪存替代 HBM 降低推理成本
ID_AA_Carmack · x · 2026-07-07
John Carmack 指出，内存成本与容量是 AI 加速器的关键瓶颈。与游戏渲染不同，模型推理具有确定性的内存访问模式——模型权重并不需要真正的随机访问，只要能以所需带宽持续读取即可，甚至可容忍数毫秒级的冷启动延迟。由于 NAND 闪存每 GB 成本比 HBM 便宜百倍以上，即使为闪存控制器配备 1024 位接口以达到 HBM 级带宽，仍存在显著的成本优化空间，值得探索专用引脚协议。
所属事件:Carmack等提议用廉价闪存替代HBM降低推理成本(2 条相关)→
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18