推理瓶颈在带宽而非算力,Positron 反转 GPU 设计路线解析
lemire · x · 2026-09-11
计算机学者 Daniel Lemire 论证：LLM 推理才是必须做便宜的那一环，而现有硬件大多不是为它设计的。
核心论点：
- 推理受限的是带宽：对巨大的权重矩阵做大量矩阵-向量乘法，权重几乎不被复用，更像流媒体视频而非仿真或游戏渲染。
- NVIDIA 等 GPU 是为图形/计算优先设计的：先堆算力再外挂高带宽内存（HBM），代价昂贵。
- 显然的对偶方案是反转设计：把权重放在第一位，让权重流以高利用率流过，只配足够的算力喂饱数据流。带宽才是稀缺资源。
- 代表公司是美国创业公司 Positron：已出货推理整机 Atlas，并在造定制芯片 Asimov，把权重放在乘法器旁边，用普通商用内存替代 HBM。
局限：这些机器不像 GPU 可编程，而是提供 OpenAI 兼容 API，更像 Web 服务而非通用加速卡。
「Infra」频道最新
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28