Cerebras 发布分解式推理:GPU 管预填+晶圆芯片管解码,每兆瓦产出 5 倍 token

AccBalanced · x · 2026-11-18

Cerebras 官方宣布推出分解式(disaggregated)推理部署:将 Cerebras 晶圆级引擎(WSE)与 GPU 组合,GPU 负责提示处理(prefill),Cerebras 系统负责输出生成(decode),宣称在保持 Cerebras 级超快速度的同时每兆瓦产出 5 倍 token。

转发评论称这正是 NVIDIA「以 200 亿美元收购 Groq」约一年后的布局背景(此说法未获证实),并质疑为何一年后仍看不到分解式集群上线;其自家的 AMD+Cerebras 分解方案同样号称 5 倍每兆瓦 token。

配图对比解码瓶颈:GPU 权重从片外 HBM 流入,每个 token 读取一轮权重;Cerebras WSE 权重常驻片上 SRAM,速度由权重到达计算单元的速度决定,解码快约 10 倍。

所属事件:Cerebras 推分解式推理:GPU 预填加晶圆芯片解码(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →