Foresight-SWE 基准:编程智能体解题 60.7%,却只有 14.8% 不埋新 bug
OfirPress · x · 2026-11-05
新基准 Foresight-SWE 测试编程智能体能否避免引入开发者后续会修掉的 bug。跨 11 个模型的平均结果显示:智能体解决开发者指定问题成功率 60.7%,但若同时要求不引入开发者后来修复的 bug,成功率骤降至 14.8%——它们做不到自查。
「编程与Agent」频道最新
- Anthropic 平台工程负责人:Agent 基础设施是工程师新战场 — danshipper · 2026-11-05
- ToolLens 开源:用 3 个工具让 agent 操控 2468 个 MCP 工具 — LoquatAccording5061 · 2026-11-05
- recalc 开源:每个单元格都是一个 Claude Code Agent 的电子表格 — 0xcontext · 2026-11-05
- 开源 iRacing 遥测库按弯道拆解转向不足,纯规则无 AI — JeremyCMorgan · 2026-11-05
- Engram 研究:RL 训练可教会模型善用文本记忆且成本更低 — canaesseth · 2026-11-05
- 开源 Notion MCP Server:用自然语言管理 Notion 页面 — modelcontextprotocol · 2026-11-05