DeepSWE 评测作者回应质疑:禁用旧测试套件后 agent 未引入更多回归
kunchenguid · x · 2026-10-09
- 面对社区关于「测试在 agent 时代是否必要」的争论,kunchenguid 逐条回应混淆点。
- 他指出「测试只是为了防回归」这一前提不成立:测试在人类首次开发(TDD)中本就有价值,而 agent 生成代码时并未继承这种习惯,这本身就值得深挖。
- 回应称 DeepSWE 评测已覆盖回归测试:在随机抽样的 44 个任务子集中,整体禁用了预存测试套件,agent 并未造成比对照组更多的回归;DeepSWE 的隐藏测试也显式检查回归。
所属事件:社区激辩 agent 编码评测能否测出回归(3 条相关)→
「编程与Agent」频道最新
- 支持 120 国号码接入，独立开发者重构 AI 电话平台摆脱 Twilio — redouanea · 2026-10-09
- Git 挑战第 5-6 天:多智能体「组织架构」频崩,调试组织成主任务 — Al_Grigor · 2026-10-09
- 开发者感慨:未来孩子难以理解当年要手动打断点调试代码 — eherrerosj · 2026-10-09
- 用户撤销权限后 Codex 仍可读写旧文件夹,且官方无法解释 — Some-Following-392 · 2026-10-09
- OpenAI Live API可用session.instructions.append实时转向 — juberti · 2026-10-09
- Shipper 发布:用 Agent 编排工程/设计/销售,跑一家完整公司 — Scobleizer · 2026-10-09