Cerebras 推分离式推理:GPU 算 KV cache,WSE 专职生成 token

elemental-mind · reddit · 2026-11-18

Cerebras 发布分离式推理(disaggregated inference)架构:由标准 GPU 负责处理 prompt 预处理、计算 KV cache,再把预计算好的 KV cache 交给其晶圆级引擎(WSE)专职生成 token。

所属事件:Cerebras 推分解式推理:GPU 预填加晶圆芯片解码(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →