Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦
ai · x · 2026-10-16
Cerebras CEO Andrew Feldman 解释了分离式推理（disaggregated inference）的收益，Cerebras 正在进一步实践：用异构 prefill 池将计算送入晶圆级引擎做解码，使 token 生成速度可以独立于 batch size 扩展。同帖还提到 d-Matrix 的层级拆分方案：1 张 H100 + 8 张 Corsair XPU 把 attention（访存受限）与 FFN（算力受限）分离，达到每用户 845 tok/s。
所属事件:Cerebras 用异构 prefill 池加速晶圆级引擎解码(2 条相关)→
「Infra」频道最新
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16
- Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16
- Together AI 上线 Muse Spark Open 推理:面向 agentic 编码与多模态负载 — togethercompute · 2026-10-16
- 马斯克官宣:SpaceX 与 Nvidia 共研太空数据中心,明年量产 — elonmusk · 2026-10-16
- 发布仅 30 分钟,Muse Spark Open 已可在 MLX 上本地运行 — pcuenq · 2026-10-16
- 分析师将台积电财报与 WFE、功耗预测交叉建模 — BenBajarin · 2026-10-16