基模型探针预测跨基准编码 Agent 潜力:ρ=0.976

hyunw_kim · x · 2026-10-20

NVIDIA 研究团队补充验证:其 DeepSWE 派生的 decisive-action 探针在 SWE-bench Multilingual 上对未来排名的追踪达 ρ=0.976,prefix pass@32 在 Terminal-Bench 2.1 上达 ρ=0.930,而传统基准 HumanEval 预测力甚至为负(ρ=-0.394)。信号可跨基准迁移,说明「今天传统编码成绩最好」≠「未来编码 Agent 潜力最大」。

所属事件:NVIDIA 论文:后训练前即可预判基模型的编码 Agent 潜力(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →