Agent 自己写的测试不算数:四招拦截「绿灯但无用」的测试
ComprehensiveShake76 · reddit · 2026-10-21
作者用 worker 在独立 Linux 容器里写代码并跑单测,只有看到真实输出(6 tests, OK, exit 0, 55 秒)才算任务完成,但发现漏洞:测试也是同一个 agent 写的,弱测试照样绿灯。评论区给出了几个可落地的对策:
- 变异测试:故意破坏代码,若测试仍通过说明测试没测到东西
- 哈希测试目录:任务开始前对测试文件夹做哈希,变了就先人工审查测试 diff
- 失败守卫:测试数量下降或出现新的 skip 标记即判任务失败
- 限制权限:agent 可新增测试,但改动已有测试必须在报告中标记
核心心得:「绿灯的测试运行只是一个声明,测试 diff 才是证据」。作者承认这只是小规模自用实践的初步经验,变异测试在大仓库上太慢,尚未解决。
「编程与Agent」频道最新
- 把 LLM 结构化输出做成游戏：你选 token，约束判对错 — nicodotdev · 2026-10-21
- GPT-4o/4.1 将于 1 月 14 日下线，团队实测 Luna 系列平替任务级差异 — max_gladysh · 2026-10-21
- 「智能体债务」：老技术债换新名，agent 堆积无人问责 — YvesMulkers · 2026-10-21
- OpenAI、Anthropic 改用系统证书曾被骂，如今被赞有先见之明 — samuelcolvin · 2026-10-21
- NVIDIA Nemotron Retriever 系列模型上线 Baseten — baseten · 2026-10-21
- Claude Mods:把 agent harness 从面向机器翻转向面向人 — daniel_mac8 · 2026-10-21