NVIDIA 论文:终端 agent 先验证再执行,TerminalBench Pass@1 从 50% 升到 68%
dair_ai · x · 2026-10-04
NVIDIA 发表关于终端 agent test-time compute 的论文,核心发现:应采样多条候选 shell 命令并在执行前验证,且把算力更多花在验证器而非额外采样上。
关键结果:
- 用 GPT-5.6 Sol 验证器在 8 个采样动作中选择,TerminalBench-Lite Pass@1 从 50.0% 升至 68.0%;
- 验证器太弱时,增加采样几乎无收益。
Mid-Harness 保持生成器与 harness 不变、在两者之间插入验证层。小模型 TMAX-9B 自验证时成对比较效果最佳,把强验证器蒸馏进小模型还能进一步提升。动作采样与轨迹采样结合,比只采样完整轨迹以更低 token 成本达到更高成功率。
「编程与Agent」频道最新
- Reddit 长文:AI 是编程的下一层抽象,写代码或将消亡 — unreal_bot66 · 2026-11-20
- Every Agent 新玩法:Slack 里直接要「可点击回复按钮」 — every · 2026-11-20
- 写代码前先回答 4 个问题:医院分诊 Agent 的需求设计法 — MaryamMiradi · 2026-11-20
- 开发者自制 MLE-Agent:MLE-Bench Tiny 金牌率 100% — InfamousTrouble7993 · 2026-11-20
- NVIDIA Cosmos Framework 教程:微调 Qwen3-VL 读懂机器人视频 — NVIDIA Developer · 2026-11-20
- TanStack AI 上线实验性功能:文本或图片一键生成 3D 模型与动作动画 — bennash · 2026-11-20