AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines
Sumin Lee, Sukmin Cho, Suengjae Lim, Youngjin Kwon
cs.CL
2026-10-01
KAIST 提出 AgSpec:按会话/工作区/全局三层建检索语料、按 agent 角色自适应草稿长度,coding agent 解码吞吐最高提升 4.76 倍。
Coding agent 的延迟有个特殊结构:一个请求拆成多轮,localizer、coder、executor 等角色轮流干活,失败就重试,每一轮都在重新生成之前写过的代码、日志和补丁。投机解码(speculative decoding)本该是现成的加速手段:草稿器先猜几个 token,目标模型一次并行验证,接受即省一步串行解码,输出分布不变。检索式投机解码连草稿模型都省了,直接从已有文本拷续写,代码里标识符和惯例高度重复,尤其合适。
但现有方法在 agent 管线里只吃到一小部分收益。草稿要生效,被复用的文本得在语料里,且存的形式和 agent 生成的一致。现有语料要么只有当前请求的 prompt 和输出,要么只有静态 datastore;文件被 prompt 截断就够不着,上一次重试的内容在请求结束即丢。格式问题更隐蔽:coder 读文件是原文,写出来的是 unified diff,每行带一个原文里没有的前缀,按原文建的索引对不上实际生成的 token 序列。草稿长度同样粗放,而实测每个 agent 的 accept length 各占一个区间,还随轮次漂移。
AgSpec 是套在现有检索引擎外面的框架,支持 SAM-Decoding 的后缀自动机和 SuffixDecoding 的后缀树,引擎本身不用改。两块设计:
语料按来源分三层:
检索时同一后缀查三层,session 与 workspace 长者胜、平手归 session;global 须比 live 匹配长出 δ=5 个 token 才用,它和仓库无关,长匹配多半是巧合。
草稿长度 K = clip(round(α·m), 1, Kmax),m 为匹配长度,两个参数各管一件事。Kmax 离线定:回放历史轨迹,统计每个 agent 第 k 个草稿 token 的接受概率(随 k 递减),保留到「收益刚好覆盖验证成本」那一格。α 在线调:初始 1.0,草稿被全部接受就放大、被截断就缩小;这一步可解释为对 pinball loss 的随机次梯度,α 追踪接受长度与匹配长度之比的 τ 分位,随会话内分布漂移移动,跨会话保留。
主实验覆盖 SWE-bench Verified 和 TeamBench,三个模型(Devstral-24B、Gemma3-27B、Qwen3.6-27B,均 4-bit 量化),batch size 1 和 16,基线含 AR 解码、PLD、REST、FastCoder、SuffixDecoding、SAM-Decoding 和 EAGLE-3。
| 设置 | AgSpec | 对照 |
| 两 benchmark×三模型,b=1 | 相对 AR 2.27–4.37× | 各设置最高或次高 |
| 同上,b=16 | 最高 4.76× | 平均比最快基线高 18.0% |
| Gemma3-27B,SWE-bench,b=16 | 3.61× | SAM-Decoding 原为 2.72× |
| LiveCodeBench(无仓库) | 4.87–7.94× | 比最快基线高 35–145% |
| Terminal-Bench(单 agent) | 比最快基线高 9.3–27.2% | accept length 高 16.7–34.3% |
引擎层面的对比更能看出框架本身的贡献:套上 AgSpec 后,SuffixDecoding 吞吐平均 +16.5%,SAM-Decoding +64.6%,后者 accept length 接近翻倍。原版 SAM-Decoding 十二个设置全输给 SuffixDecoding,加框架后反超九个。
消融把来源拆开了:session 语料退化为只存当前调用,accept length 掉 39–51%,完整 session 相对 per-call 提升 1.6–2.1×,是最大头;workspace 语料单独加 26–47%,叠在 session 上还有 2.2–7.0%,三层合计是只用 global 的 2.9–4.8×;diff 格式索引主要救第一轮,coder 的 AL +13–39%,第二轮起自己的 patch 已进 session 语料,第五轮增益降到 3% 以下。草稿长度上,固定 K=32 在 b=1 比 K=8 快 14%,到 b=16 反而慢 30%,被拒 token 吃掉整个 batch 共享的算力;AgSpec 两个 batch 都最快。单独开 online scale(b=16、K=32):吞吐 +66%,拒绝 token 占比从 78% 降到 50%。开销可控,三语料查询加草稿选择占每步 1.1–5.5%,global 语料驻留主机内存 2.5–4.3 GB,不占 GPU 显存。
对做 agent 推理服务的人,这是能直接拿走的东西:vLLM 上实现、免训练、不改动检索引擎,验证机制保证输出分布与目标模型逐 token 一致。消融还给出一个更朴素的启示:单是把跨调用的会话轨迹留下来给检索,就已拿走大部分增益,workspace 和 diff 格式补的是 session 尚未积累到的部分。适用面也宽于设定,无仓库的 LiveCodeBench、单 agent 的 Terminal-Bench 都有效。要说清楚的是,它只加速解码、不改变模型能力,任务成功率不会动,收益上限取决于负载里可复用文本的密度。
作者自述:workspace 语料跨 session 增长没有明显收益,多 session 共享同一仓库的情形留作未来工作;α 不收敛,只围绕移动目标波动。另有几处要留意:SWE-bench 上三个模型定 cap 用的 λ 全部沿用 Devstral 的测量值,是省事的近似;实验全部在单卡、greedy 解码、4-bit 量化模型下进行,采样解码与更大 batch 未验证;global 语料需要先在同类任务上收集轨迹,跨域迁移未测;session 和 workspace 语料含 prompt、仓库内容和工具输出,论文的伦理声明只提醒按 session 隔离并在会话结束丢弃,多租户环境里这道隔离要运维自己兜住。