Hot Chips 记忆墙数据:算力两年翻 3 倍,HBM 带宽不到 2 倍
Summit-Star001 · reddit · 2026-09-14
Hot Chips 2026 上 Raghu Sreeramaneni 的记忆专题给出「记忆墙」图表:TPU v3 到 R200 的算力(归一化 TFLOPs)约每两年提升 3 倍,而 HBM 带宽(HBM2e 到 HBM4)不足 2 倍,对数坐标下两者差距被低估。业界正在沿三条路线修复:算力旁放内存、更短链路拉近内存、在内存内部直接做乘法单元——第三条已有三星产品落地,其 lpddr5x 实测在 Llama 3.1 8B 上 tokens/s 提升 3.01 倍。
「Infra」频道最新
- Perplexity 推出 Hybrid Compute:任务在云端与 Mac 本地间分流 — Aiden_Tech_Ai · 2026-09-14
- 仅保留4个首token+64token窗口,免训练匹敌线性注意力模型 — burny_tech · 2026-09-14
- RDNA4 本地推理提速:双 R9700 跑 Qwen3.8 Flash 达 100 tok/s — Public_Umpire_1099 · 2026-09-14
- 曝 Anthropic 与 RUM 集团签 137 亿美元 6 年算力大单 — rohanpaul_ai · 2026-09-14
- 全程 AI 写 OpenSCAD,3D 打印双 12 寸风扇救活 Thor 开发套件散热 — catplusplusok · 2026-09-14
- WSJ 数据:数据中心挤占施工,净建设量反而下降 — GregCook2011 · 2026-09-14