SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87×
pmttyji · reddit · 2026-11-04
论文 SpecPilot 提出一个自主智能体循环，为每种部署环境自动发现投机解码（speculative decoding）的算法与系统优化。针对现有并行草稿系统的三大瓶颈——单请求每步仅接受少量 token 却读取全部权重、批处理下验证工作使加速几乎减半、优化方案高度依赖具体部署组合——SpecPilot 用成本模型定位当前系统与理论上限的差距，并行智能体探索优化方向并整合有效者，同时用 token forcing 对照 stock 输出检测 reward hacking，结构化记忆将已验证机制带入新一轮迭代。
主要发现
- 自动发现了一种通用的无损 12-bit 权重格式、混合循环目标模型的树形验证、两级验证和三种批处理机制
- 在 4 个目标模型、3 个草稿模型、2 种 GPU 平台、5 个基准上评测
- 无需训练、无质量损失：单请求下相对自回归解码的加速从 stock 的 4.46× 提升到 10.87×，批处理下从 1.94× 提升到 3.93×
论文：arXiv 2611.02501，代码与项目页已开源。
所属事件:SpecPilot 智能体自动优化投机解码，加速比大幅提升(2 条相关)→
「Infra」频道最新
- GitHub 大面积故障：PR、Git 操作、Issues 与 Actions 全线降级 — aniketmaurya · 2026-11-04
- 英伟达难从 Anthropic 挖 RL 人才：强化学习经验成芯片巨头短板 — teortaxesTex · 2026-11-04
- Grimes? 不,是 Bezos:呼吁建核动力海上算力平台 — beffjezos · 2026-11-04
- NEURA 发布 Neuron AI,欧洲具身智能的真正考验在协同落地 — ingliguori · 2026-11-04
- S3 数据库并不慢：内存+NVMe 缓存摊薄成本，写延迟差距比想象小 — mgill25 · 2026-11-04
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04