单栈 HBM 每秒能读完 20 遍维基百科,带宽仍是 AI 芯片瓶颈
lemire · x · 2026-09-29
- AI 处理器采用高带宽内存（HBM），当前主流是 HBM4 规范，单栈带宽通常超过 2 TB/s（单栈容量最高 64 GB，常见 32 GB），加速器多栈叠加后总带宽更高。
- 一个直观对比：未压缩的维基百科全部文本约 100 GB，单栈 HBM 每秒可将其读取 20 次以上。
- HBM5 预计 2028 年前发布，速度翻倍、单栈超 4 TB/s，届时每秒可读 40 遍维基百科。由于带宽常是 AI 芯片瓶颈，2028 年的 AI 加速器仅凭这一点就应大幅提速。
「Infra」频道最新
- Agent 90 分钟跑 322 个 Hugging Face Jobs，总账单仅约 4 美元 — victormustar · 2026-09-29
- 超8万个代理服务器隐藏流向,被盗AI订阅凭据催生黑产经济 — ChuckDBrooks · 2026-09-29
- antirez：本地推理别只看生成速度，缩短思考阶段与加速 prefill 才是关键 — antirez · 2026-09-29
- 投资人呼吁建「算力长城」，输出智能而非美元 — McDonaghMatthew · 2026-09-29
- 用 Claude Code 指挥本地模型干活,省云端额度的混合工作流可行吗? — Ambitious_Fold_2874 · 2026-09-29
- 两台 DGX Spark 跑 320B MoE 模型,262K 上下文前要先修 11 个坑 — TechPreacher · 2026-09-29