基模型探针预测跨基准编码 Agent 潜力:ρ=0.976
hyunw_kim · x · 2026-10-20
NVIDIA 研究团队补充验证:其 DeepSWE 派生的 decisive-action 探针在 SWE-bench Multilingual 上对未来排名的追踪达 ρ=0.976,prefix pass@32 在 Terminal-Bench 2.1 上达 ρ=0.930,而传统基准 HumanEval 预测力甚至为负(ρ=-0.394)。信号可跨基准迁移,说明「今天传统编码成绩最好」≠「未来编码 Agent 潜力最大」。
所属事件:NVIDIA 论文:后训练前即可预判基模型的编码 Agent 潜力(8 条相关)→
「研究」频道最新
- DeepMind 研究员警示:AI 投入若缺实验室,假说将多到无法验证 — weballergy · 2026-10-20
- 新播客:将 DeepLIFT 归因方法扩展到 AlphaGenome 等大模型 — anshulkundaje · 2026-10-20
- STalign 移植 C++ 后提速千倍,空间转录组比对从数小时到数秒 — anshulkundaje · 2026-10-20
- 依赖类型电子表格原型现身,开发者讨论用 Lean 证明 Excel 正确性 — rickasaurus · 2026-10-20
- 新研究:SOAP/SPlus 白化梯度协方差,96 个 DiLoCo 节点稳定扩展预训练 — aaron_defazio · 2026-10-20
- Sonia Joseph 谈世界模型与可解释性:一枚硬币的两面 — soniajoseph_ · 2026-10-20