SWE-bench 作者回应「刷基准」质疑：SWE 需要人在回路的新基准
OfirPress · x · 2026-11-06
有人质疑 Ofir Press 的 mini-swe-agent 是「为基准优化」、不代表真实使用，担心 agent harness 在静态基准上开发评估会过拟合。Ofir Press 回应：mini 只有 130 行代码，这么小的东西很难刷分；更有价值的结论或许是 SWE 领域需要更多「人在回路」式基准，只是很难设计好。
所属事件:SWE-bench 作者回应刷榜质疑并呼吁人在回路基准(2 条相关)→
「编程与Agent」频道最新
- Exo 论文:让 Agent 在干活时自我改进 harness,成本降 12-82% — sarahcat21 · 2026-11-06
- 研究实测：LLM 发现上下文矛盾 73%，却 0% 主动告知用户 — rseroter · 2026-11-06
- Ampersand 主打人机协作训练，意外成为顶级多智能体编码模型 — niloofar_mire · 2026-11-06
- Fo Friends 上线：让两个 AI Agent 互相对话安排日程与送礼 — heyshrutimishra · 2026-11-06
- AI 编码翻车现场：机器上竟装了 51 份 Playwright，横跨 12 个版本 — julianharris · 2026-11-06
- Vercel 推出 Schedules 公测：Agent 可运行时自建定时任务 — cramforce · 2026-11-06