谷歌月消耗 token 从 480 万亿涨到 3.2 千万亿,Cerebras 揭秘推理提速全栈手段
AI Engineer · youtube · 2026-10-12
AI Engineer World's Fair 演讲中,Cerebras 的 Daniel Kim 与 Gimlet Labs 联合创始人 Michelle 讲解推理如何持续变快变便宜——背景是 Google 月处理 token 量从 480 万亿暴涨至 3.2 千万亿。
- 运行时层面:解码是内存受限的,KV cache 随上下文膨胀;解法包括模型跨 GPU 切分、continuous batching、paged KV cache、prompt caching 和 chunked prefill。
- 系统层面:prefill/decode 分离(disaggregation)、投机解码(speculative decoding)、attention/FFN 分离。
- Gimlet 展示多硅片(multi-silicon)推理云,并用 agent 自动生成优化 kernel,延伸到用 agent 优化硅片、编译器和运维。
「Infra」频道最新
- AI 并非总吃满 GPU：开发者吐槽常见误解 — mgostIH · 2026-10-12
- Yandex 称数据中心受损服务故障，网友玩梗「Internyet」 — kingslyj · 2026-10-12
- 本地实测:4070 Ti Super 跑 H3 反而快过 RTX 5070 一倍 — smellyelon · 2026-10-12
- Strata 在普通游戏 PC 上本地跑开源大模型 — alex_verem · 2026-10-12
- 为什么大模型越做越大？聊聊 DeepSeek 与 Qwen 的「小模型极限」路线 — gnukeith · 2026-10-12
- WSJ 揭硅谷算力暗战:谷歌 27 亿买人、Demis 因缺卡不满、算力即权力 — dotey · 2026-10-12