Cerebras 用异构 prefill 池喂晶圆级引擎做 decode,独立于 batch 提速

ai · x · 2026-10-16

AI 推理正进入下一层优化:编排异构硬件以榨取每美元最大吞吐。文中点名 Cerebras 的做法——用异构的 prefill 池为晶圆级引擎(wafer-scale engine)提供 decode,使 token 生成速度可以独立于 batch size 进行扩展。

所属事件:Cerebras 用异构 prefill 池加速晶圆级引擎解码(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →