UC Berkeley 等发布 SpecPilot:自动为投机解码找最优算法
UCBerkeley · hf · 2026-11-04
UC Berkeley、Princeton、Stanford 与 NVIDIA 联合提出 SpecPilot,一个自主智能体循环,自动为具体部署场景发现投机解码(speculative decoding)算法与系统优化。
解决的三个问题:
- 单请求时每步接受 token 少,却要读取全部目标权重
- 批处理场景下,逐请求验证工作会抵消近一半相对自回归解码的加速
- 投机解码加速高度依赖部署环境(服务模式、drafter、目标模型、GPU),没有普适最优配置
工作方式:每轮由成本模型定位当前系统与理论上限之间最大差距,并行 agent 探索各方向并整合成功改进,再用 token forcing 对每个输出 token 与基线逐一对账,保证无质量损失的前提下最大化加速。代码已开源。
「Infra」频道最新
- 斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- AMD 高管亮相 Fireworks AI Forge 活动,谈多年战略合作 — AnushElangovan · 2026-11-04
- 微软详解 Outlook 搜索改造：相关性排序扩至 7 条+弱网韧性 — benjamingauthey · 2026-11-04
- AMD 高管携 192GB 内存的 Strix Halo 工作站当面致敬 dhh — AnushElangovan · 2026-11-04
- 从 CPU 到 GPU 到推理服务：一个故事讲透 LLM 推理基础设施全链路 — _jaydeepkarale · 2026-11-04
- 4 张 RTX 3090 组出 FrankenSTEAM 主机，实测跑 Qwen 大模型 — Civil_Fee_7862 · 2026-11-04