6 个基模型 5 个 SWE-bench 得 0%,后训练后最高 80.6%
hyunw_kim · x · 2026-10-20
NVIDIA 团队线程揭示的问题:基模型往往连 coding-agent harness 都无法操作——SWE-bench Verified 上 6 个基模型中 5 个得 0%,但其后训练版本最高达 80.6%。这正是他们提出决定性步骤探针法的动机:当基准显示的是一排零分时,如何识别隐藏潜力。
所属事件:NVIDIA 论文:后训练前即可预判基模型的编码 Agent 潜力(8 条相关)→
「编程与Agent」频道最新
- 开发者用 AI 把 Goodreads 书架变成精美网站,代码可开源 — thisiskp_ · 2026-10-20
- Notion AI 大更新:Agent 增强、Auto 便宜 90%、支持 BYOK — ivanhzhao · 2026-10-20
- iPhone 动作按钮一键出片:Grok 语音+HeyGen MCP 生成数字人视频 — HeyGen · 2026-10-20
- 开发者「氛围编码」破解思路做游戏:League of Spawn 上线 15 分钟 MOBA 竞技场 — majidmanzarpour · 2026-10-20
- esp32sim-mcp:让 Agent 在本地模拟器里测试 ESP32 固件 — EmanueleStrazzullo · 2026-10-20
- GameSummoner 一键本地部署:一句话提示词自动生成完整游戏 — demonicpigg · 2026-10-20