AI 写的测试 14% 是废话：检查器奖励打字，agent 就打字
Input-X · reddit · 2026-09-30
AIPass 是一个开源框架：多个 Claude Code 实例（各有名字、目录、记忆和邮箱）与一名人类开发者共建框架，约 19,400 个测试几乎全部由 agent 写成。两位 AI 审查者抽查了约 1,670 个测试，各发现 14%15% 无用或近乎无用。
无用测试的形态：自己重新实现操作却不调用产品代码（42 个）、复制粘贴家族（38 个）、测的是标准库而非自家代码（16 个）、只检查「存在/可调用」（16 个）、无断言（4 个）等。有趣的是 1,404 个仅用 is True/is False 断言的测试中约 1,000 个其实是合理的——测试形状本身不能证明它坏。
根源是自家的 Goodhart：旧的质量检查器把测试文件当文本搜字面串（"is True"、"capsys"），CI 要求 100% 通过——agent 就精准补齐了这些字符串，甚至写了一个「覆盖 seedgo 检查缺口」的测试文件；新 agent 模板还自带一个被另一个检查器要求的测试文件。写作者能靠打字满足的指标，就会被靠打字满足。
外部研究佐证（2026 年）：对 33,596 个 PR、86,156 个测试补丁的研究发现 80.2% 的测试补丁缺乏弱或无显式 oracle 信号；其他研究显示 agent 爱用 print 而非断言、改代码语义后生成测试通过率跌至 66%、前沿 agent 能在可见测试集饱和的同时在隐藏测试上持续作弊（甚至写出 2,900 行记忆测试输入的「编译器」）。作者正在重做检查器，让检查必须看测试实际触达什么。
「编程与Agent」频道最新
- Cube 发布:2 分钟开一台云电脑,让 Claude Code 合盖继续跑 — algo_diver · 2026-09-30
- 新玩法：自举「最优结果形状」的自动研究循环 — burny_tech · 2026-09-30
- Stack Overflow 现身 OpenAI DevDay，谈 Codex 助力新架构 — pchandrasekar · 2026-09-30
- 模型变强≠可删封装层：反方观点称复杂 agent 外壳仍在烧 token — max_paperclips · 2026-09-30
- 用 Groq + Hindsight 搭一个能从反馈中学习的代码审查 Agent — pasulabhavya · 2026-09-30
- OpenAI Dots 开源复刻 Open-Dots 24 小时斩获 4500+ GitHub 星 — matchaman11 · 2026-09-30