单栈 HBM 每秒能读完 20 遍维基百科,带宽仍是 AI 芯片瓶颈
lemire · x · 2026-09-29
- AI 处理器采用高带宽内存(HBM),当前主流是 HBM4 规范,单栈带宽通常超过 2 TB/s(单栈容量最高 64 GB,常见 32 GB),加速器多栈叠加后总带宽更高。
- 一个直观对比:未压缩的维基百科全部文本约 100 GB,单栈 HBM 每秒可将其读取 20 次以上。
- HBM5 预计 2028 年前发布,速度翻倍、单栈超 4 TB/s,届时每秒可读 40 遍维基百科。由于带宽常是 AI 芯片瓶颈,2028 年的 AI 加速器仅凭这一点就应大幅提速。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16