NVIDIA 论文：无需后训练即可预判哪个基座适合做编码 Agent
hyunw_kim · x · 2026-10-20
NVIDIA 研究团队发布论文《Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models》（arXiv:2610.10478），作者包括 Bryan Catanzaro、Jonathon Cohen、Ashish Vaswani 等 22 人。
要解决的问题：基模型往往无法操作 coding-agent harness——SWE-bench Verified 上 6 个基模型中 5 个得 0%，但后训练版本最高达 80.6%。如何在昂贵的 agentic 后训练之前识别潜力？
方法：把成功后训练 Agent 轨迹当作 lookahead 信号。重放轨迹并在每步后跑测试，找到「决定性步骤」——首个让测试由失败翻转为通过的代码编辑动作。给基模型该步骤之前的上下文，构建三个探针：
- Decisive-Action BPB：正确动作的似然（bits per byte）
- Patch MCQ：能否区分通过/失败补丁
- Prefix pass@K：能否在前缀条件下生成通过修复
结果：10 个基模型上，Decisive-Action BPB 追踪后训练 SWE-bench Verified 排名 ρ=0.964，跨基准同样成立（Multilingual ρ=0.976、Terminal-Bench 2.1 ρ=0.930），传统基准 HumanEval 预测力为负（ρ=-0.394）。结论：不必对每个基模型都做完整后训练筛选，潜力信号训练前已存在。
所属事件:NVIDIA 论文：后训练前即可预判基模型的编码 Agent 潜力(8 条相关)→
「编程与Agent」频道最新
- Notion AI 大更新：Agent 增强、Auto 便宜 90%、支持 BYOK — ivanhzhao · 2026-10-20
- iPhone 动作按钮一键出片:Grok 语音+HeyGen MCP 生成数字人视频 — HeyGen · 2026-10-20
- 开发者「氛围编码」破解思路做游戏:League of Spawn 上线 15 分钟 MOBA 竞技场 — majidmanzarpour · 2026-10-20
- esp32sim-mcp：让 Agent 在本地模拟器里测试 ESP32 固件 — EmanueleStrazzullo · 2026-10-20
- GameSummoner 一键本地部署：一句话提示词自动生成完整游戏 — demonicpigg · 2026-10-20
- Grok Bot 重度用户:个人 Agent 必须开源化,并附自动备份恢复流程 — WolframRvnwlf · 2026-10-20