Hot Chips 记忆墙数据:算力两年翻 3 倍,HBM 带宽不到 2 倍
Summit-Star001 · reddit · 2026-09-14
Hot Chips 2026 上 Raghu Sreeramaneni 的记忆专题给出「记忆墙」图表:TPU v3 到 R200 的算力(归一化 TFLOPs)约每两年提升 3 倍,而 HBM 带宽(HBM2e 到 HBM4)不足 2 倍,对数坐标下两者差距被低估。业界正在沿三条路线修复:算力旁放内存、更短链路拉近内存、在内存内部直接做乘法单元——第三条已有三星产品落地,其 lpddr5x 实测在 Llama 3.1 8B 上 tokens/s 提升 3.01 倍。
「Infra」频道最新
- effect-harness + Cloudflare:agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力,CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层,宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31