NVIDIA 论文：后训练前即可预判基模型的编码 Agent 潜力
NVIDIA 研究员 Hyunwoo Kim 团队于 10 月 20 日发布论文《Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models》（arXiv:2610.10…），核心主张是：不必为找出最优模型而对每个基座都做一轮完整后训练，只要选对观察指标，基模型的编码 Agent 潜力在后训练之前即可预判。
已确认
- 团队提出的方法是重放成功 Agent 轨迹，定位「决定性步骤 T」——即首个 FAIL→PASS 翻转点——并用真实 harness 上下文（测试任务、轨迹前缀、T 时刻环境状态）对基模型施测三个探针
- 在 10 个基模型上，三个探针追踪后训练 SWE-bench Verified 排名的相关性分别为：Decisive-Action BPB ρ=0.964、Prefix pass@32 ρ=0.951（第三个探针帖中被截断）
- 该 DeepSWE 派生的 decisive-action 探针在 SWE-bench Multilingual 上的追踪达 ρ=0.976，prefix pass@32 在 Terminal-Bench 上也有验证（具体数值帖中被截断）
- 传统基准的预测能力差：HumanEval 相关系数为负（ρ=-0.394），RepoBench XFirst 为 ρ=0.830
- 论文揭示的现实问题：SWE-bench Verified 上 6 个基模型中有 5 个得 0%——基模型往往连 coding-agent harness 都无法操作——而其后训练版本最高达 80.6%
为什么重要
- 后训练成本高昂，若每个候选基座都须训完才能比较，算力与时间开销巨大；该工作给出筛选基座的捷径
- 结果同时说明传统静态编码基准（如 HumanEval）与真实 Agent 能力脱节，负相关结果对行业选型惯例有警示意义
2026-10-20 ~ 2026-10-20 · 8 条相关
一手来源
- NVIDIA 论文：无需后训练即可预判哪个基座适合做编码 Agent — hyunw_kim ·
- 三个探针预测后训练成绩：Decisive-Action BPB 达 ρ=0.964 — hyunw_kim ·
- 6 个基模型 5 个 SWE-bench 得 0%，后训练后最高 80.6% — hyunw_kim ·
- NVIDIA 提问后训练圈：必须训完每个基座才知道谁是最佳 Agent？ — hyunw_kim · 2026-10-20
- 【源头】6 个基模型 5 个 SWE-bench 得 0%，后训练后最高 80.6% — hyunw_kim · 2026-10-20
- 图解三个探针：定位轨迹决定性步骤测基模型潜力 — hyunw_kim · 2026-10-20
- 【源头】三个探针预测后训练成绩：Decisive-Action BPB 达 ρ=0.964 — hyunw_kim · 2026-10-20
- HumanEval 预测编码 Agent 潜力为负相关，新探针 ρ=0.964 — hyunw_kim · 2026-10-20
- 基模型探针预测跨基准编码 Agent 潜力：ρ=0.976 — hyunw_kim · 2026-10-20
- 【源头】NVIDIA 论文：无需后训练即可预判哪个基座适合做编码 Agent — hyunw_kim · 2026-10-20
- NVIDIA团队论文：无需逐个后训练即可预判base模型潜力 — hyunw_kim · 2026-10-20