SemiAnalysis:4-hi HBM 同带宽更少die,推理成本更低成新趋势

dylan522p · x · 2026-09-14

SemiAnalysis 最新付费文章指出,DRAM 极度短缺背景下,HBM 堆叠趋势正在逆转:下一代加速器将从当前 12-hi 标准转向 8-hi,Nvidia Rubin Ultra 即是如此——单卡容量从 288GB 降至 192GB。

更关键的判断:对以带宽为核心的推理负载,4-hi HBM 能提供最优的每美元带宽、即最低每 token 成本;容量在超过阈值后边际收益递减,但增量堆叠仍带来同样成本。主要实验室的 ASIC 硬件团队已计划从 HBM4 世代起采用 4-hi 方案,与「在数据中心功耗约束下最大化 tokens/Watt」的思路一致。