6 个基模型 5 个 SWE-bench 得 0%,后训练后最高 80.6%

hyunw_kim · x · 2026-10-20

NVIDIA 团队线程揭示的问题:基模型往往连 coding-agent harness 都无法操作——SWE-bench Verified 上 6 个基模型中 5 个得 0%,但其后训练版本最高达 80.6%。这正是他们提出决定性步骤探针法的动机:当基准显示的是一排零分时,如何识别隐藏潜力。

所属事件:NVIDIA 论文:后训练前即可预判基模型的编码 Agent 潜力(8 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →