NVIDIA 新方法可在后训练前预测哪个基座更适合做编码 Agent
sudoraohacker · x · 2026-10-20
NVIDIA 团队发布论文《Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models》（arXiv:2610.10478），解决一个核心问题：能否在昂贵的 agentic 后训练之前，就判断哪个基座 checkpoint 值得投入？
- 动机：端到端 pass@K 不适合评估 agentic 编码——许多基座模型根本无法稳定生成格式正确的工具调用；单步/短程任务又绕开了多步工具使用的核心能力
- 方法：把成功 agent 的轨迹当作基座潜力的 lookahead 信号，逐步重放并在每次代码变更后重跑测试，定位从失败翻转为通过的关键步骤，据此认证该动作在给定上下文下能解决任务
- 效果：可预测未来 SWE-bench 排名，相关系数 ρ=0.964
- 团队表示该方法已用于 Nemotron 中期训练（Super 3.5 背后的论文）
所属事件:NVIDIA 团队：后训练前即可预判基座编码 Agent 潜力(9 条相关)→
「编程与Agent」频道最新
- 斯坦福团队研究 cascade harness:低成本下如何组合多个智能体外壳 — james_y_zou · 2026-10-20
- 开发者用 Hermes-Agent 自动开 Shopify 店并生产实体周边 — alexcovo_eth · 2026-10-20
- LlamaIndex 发布 ExtractBench Pro:前沿模型也被长尾文档抽取难倒 — llama_index · 2026-10-20
- vLLM 生态发布 d3-turbo:多模态决策模型提速 15 倍登顶 Jev 榜 — vllm_project · 2026-10-20
- LLM 上下文压缩套压缩，越压越丢信息的工程痛点 — nrehiew_ · 2026-10-20
- 不换模型也能让 Agent 变强:Turing Post 谈 harness 与能力过剩 — TheTuringPost · 2026-10-20