Hot Chips 记忆墙数据:算力两年翻 3 倍,HBM 带宽不到 2 倍

Summit-Star001 · reddit · 2026-09-14

Hot Chips 2026 上 Raghu Sreeramaneni 的记忆专题给出「记忆墙」图表:TPU v3 到 R200 的算力(归一化 TFLOPs)约每两年提升 3 倍,而 HBM 带宽(HBM2e 到 HBM4)不足 2 倍,对数坐标下两者差距被低估。业界正在沿三条路线修复:算力旁放内存、更短链路拉近内存、在内存内部直接做乘法单元——第三条已有三星产品落地,其 lpddr5x 实测在 Llama 3.1 8B 上 tokens/s 提升 3.01 倍。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →