Cerebras CEO 揭秘:晶圆级架构推理为何比 GPU 快 2500 倍
rohanpaul_ai · x · 2026-10-03
Cerebras 联合创始人兼 CEO Andrew Feldman 在 The MAD Podcast 上解释了公司晶圆级架构在 LLM 推理时比 GPU 快 2500 倍的原因:
- 推理分两阶段:pre-fill(处理用户 prompt)和 decode(逐 token 顺序生成答案)。
- Decode 阶段的瓶颈:每生成一个 token 前,模型权重都要从内存搬运到计算单元。
- 关键差异:GPU 上权重存放在 HBM,而 Cerebras 把权重放在分布在超大晶圆级处理器上的 SRAM 中——SRAM 远快于 HBM,使得逐 token 必需的「内存→计算」搬运快约 2500 倍。
完整视频见 The MAD Podcast with Matt Turck 频道。
所属事件:Cerebras CEO 详解晶圆级架构如何规避供应链瓶颈(3 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19