OfirPress：全自动 SWE 基准过多，人机协作评测仍缺位
OfirPress · x · 2026-11-06
Princeton 研究者 Ofir Press 在推文中指出，当前各类 SWE（软件工程）基准几乎都针对全自动（full-auto）场景，但实际工作中大量任务是人+AI 协作完成的，因此需要 human-in-the-loop 型基准。
他还回应了对其 mini 基准「刷榜」的质疑：mini 只有 130 行代码，体量太小，很难被 benchmaxx（针对性刷分）。他认为核心结论是：SWE 领域需要更多 human-in-the-loop 基准，但如何设计好这类评测仍非常困难。
所属事件:SWE-bench 作者回应刷榜质疑并呼吁人在回路基准(2 条相关)→
「编程与Agent」频道最新
- FastAPI 作者 tiangolo:听完 jxnlco 演讲后高频用语音操控 Codex — jxnlco · 2026-11-06
- 企业 AI 缺的是「可计算企业」层:把员工脑中的业务逻辑沉淀下来 — vishalmisra · 2026-11-06
- Claude Skills 冷启动关键:先喂给它你的真实业务 — aryanXmahajan · 2026-11-06
- 生产环境用 Claude/Codex/Cursor,要不要上 MCP 防火墙? — vdobroskok · 2026-11-06
- Firecrawl 推 Alexandria 金融数据层并宣布 7500 万美元 B 轮 — devdigest · 2026-11-06
- 给 swarm 每个智能体配沙箱和共享记忆:写了 12 条笔记无人读 — wandb · 2026-11-06