Cerebras 推分离式推理:GPU 算 KV cache,WSE 专职生成 token
elemental-mind · reddit · 2026-11-18
Cerebras 发布分离式推理(disaggregated inference)架构:由标准 GPU 负责处理 prompt 预处理、计算 KV cache,再把预计算好的 KV cache 交给其晶圆级引擎(WSE)专职生成 token。
- 这种分工不降低首 token 延迟,但能让 token 生成保持超高速
- WSE 因此可生成最多 5 倍 的 token 量(相比在同一块芯片上既做预处理又做生成)
- 为数据中心运营商提供了更灵活的算力扩展方式
所属事件:Cerebras 推分解式推理:GPU 预填加晶圆芯片解码(2 条相关)→
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18