Baseten 工程师复盘:投机解码成推理优化最快战场
AI Engineer · youtube · 2026-09-20
Baseten 的 Philip Kiely 在演讲中复盘《Inference Engineering》出版以来推理工程领域的变化,核心线索是本地推理与数据中心推理的分野:本地是「先跑通,再别那么蠢」,数据中心是「先跑通,再别那么慢」;而最大的趋势是数据中心优化越来越多来自专门的训练过程,训练与推理的界限正在模糊。
他逐一讨论三大方向:
- 量化:数据中心的答案仍是 4-bit 权重而非压缩 KV cache——TurboQuant 走红后团队算了账:4-bit cache 确实让有效带宽翻倍,但额外的解码计算让 tokens/s 掉一半以上,数据中心不可接受,内存饥渴的本地机器却接近理想。
- 缓存:前沿转向 compaction——用一个学习到的 bottleneck,以固定 query 向量对完整 KV cache 做交叉注意力,一次前向产出压缩后的 keys/values。
- 投机解码:进展最快。同族小模型从来不是好 drafter;在目标模型 hidden states 上训练 drafter 好得多;随后出现的 diffusion drafter(DFlash)一次提议 8-16 个 token,生产环境中接受率比此前最佳提升超两倍;更新的 DSpark 再串联顺序 drafter;若承担存储、算力与权限成本,在真实 prompt 上持续重训 speculator 还能把接受率再抬升 20%-100%。
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04