AMD 联手 Cerebras 拆分推理：KV 缓存成跨芯片桥梁
TheTuringPost · x · 2026-08-02
AMD 与 Cerebras 正在构建一种新型 AI 基础设施，将大模型推理的 Prefill（预填充） 与 Decode（解码） 阶段拆分到不同的硬件架构上运行：
- AMD Helios 负责处理输入提示词，并行构建 KV 缓存。
- 随后系统将 KV 缓存和请求元数据转移至 Cerebras CS-3 晶圆级引擎。
- Cerebras CS-3 依托该缓存状态，以极高速度逐个生成输出 Token。
这种异构组合对用户完全透明，但数据中心的算力效率大幅提升。官方宣称该方案可将每瓦特的 Token 生成速度提升多达 5 倍。不过，跨系统传输 KV 缓存的延迟将成为这套架构最大的性能瓶颈。
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16