推测解码走红:AI 推理进入「组合系统工程」时代
Arindam_1729 · x · 2026-09-25
从更聪明的模型到更聪明的推理
作者认为 AI 基础设施的下一阶段重点不再是把模型做得更聪明,而是把推理做得更聪明。
- 推测解码(speculative decoding)是典型例子:小 draft 模型提前提出多个 token,大 target 模型一次批量验证并只接受自己本来也会生成的 token——用一点系统复杂度换取明显更快的生成速度,输出质量不变。
- 更有意思的趋势:随着模型日趋可互换,赢家的推理栈可能不是围绕某个「最强单模型」构建,而是围绕特定工作负载组合模型、运行时、硬件、缓存、路由与 serving 策略。
- 这意味着推理基础设施正从「托管一个模型」变成一门系统工程。文章还提到 Jozu 把推测解码打包进其 RIC 容器的实践作为落地示例。
「Infra」频道最新
- MLPerf v6.1 推出首个 LLM 后训练基准：397B 模型跑智能体 RL 修软件 — TheKanter · 2026-09-25
- KV 缓存引入虚拟内存:kvcached 已部署超万卡 GPU — techNmak · 2026-09-25
- 作者重返 IEEE 演讲：从芯片到模型全栈微优化以小博大 — fooobar · 2026-09-25
- 开发者自建 AI 获客工作流，断言下时代入口属 OS 级硬件 — dotey · 2026-09-25
- WSJ：AI 关键内存芯片价格飙升令美国陷入两难 — pstAsiatech · 2026-09-25
- 实测:Qwen Flash Next IQ4_XS 四项基准全面胜过 27B FP8 — smallDeltaBigEffect · 2026-09-25