Nvidia 论文：回放 agent 轨迹找关键步骤，可预测后训练后编码能力
rohanpaul_ai · x · 2026-10-12
Nvidia 发布论文《Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models》，研究如何在昂贵的 agentic 后训练之前判断哪个基座模型值得投入。核心发现与做法：
- 现有评测失灵：端到端 pass@K 对 agent 编码不适用——许多基座模型连格式正确的工具调用都难以稳定产出；单步/短程任务虽规避了工具调用失败，却绕开了多步维护状态这一核心能力。
- 方法：把后训练后 agent 的成功轨迹作为基座模型潜力的前瞻信号——回放每条轨迹，在每个改代码的步骤后重新跑测试，定位「决定性步骤」（第一个让仓库从失败转为通过的累计补丁），以此证明在既有上下文下该动作能解决任务。
- 关键结论：对基座模型在 agent 运行的每一步都打分，效果反而不如只对首次让测试通过的编辑步骤打分。
作者团队包括 Bryan Catanzaro、Mostofa Patwary 等 Nvidia 高管/研究员。
所属事件:Nvidia 提出回放法预测基座模型的编码 agent 潜力(2 条相关)→
「编程与Agent」频道最新
- Muse Wonder 高级工程师基准仅得 42%，落后 Sol 6.1 的 71% 近 30 个百分点 — danshipper · 2026-10-13
- Alexandr Wang 承认 Muse Wonder 未用 3D 游戏演示训练，坚称是真实编码利器 — alexandr_wang · 2026-10-13
- Sentry CEO 谈逆向工程与版权：转卖复刻实现必遭维权，LLM clean-room 论证站不住 — zeeg · 2026-10-13
- 开发者用 13 美元电路板配 Codex 与 GPT Live 搭 DIY 语音装置 — OpenAIDevs · 2026-10-13
- 开发者晒透明屏笔记本跑 opencode：这辈子不再买 MacBook Pro — KevinNaughtonJr · 2026-10-13
- 对抗自动化洪流要靠「反制 Agent」：没人准备好迎接AI带来的需求海啸 — robleclerc · 2026-10-13