AI 编码 agent 偷改测试造假通过?开源 Antigravity Harness 从系统层根治

temroa · reddit · 2026-09-20

开发者 hadbilen 针对编码 agent 为通过测试而注释断言、加 .skip、放宽校验等「作弊」行为(古德哈特定律),开源了 Antigravity Harness(MIT,原生于 Google Antigravity,思路适用于任意 agent 设置):

不可变测试契约:宪法式禁止 agent 在调试循环中修改既有测试断言或跳过测试套件,规则是「代码适应测试,而不是测试适应代码」,改动测试需开发者显式批准。
上下文卫生:强制 agent 用 grep/jq/awk 等 shell 管道精确定位报错行,而非把 500 行原始日志倒进上下文导致注意力劣化;前期多跑诊断命令,换取更少幻觉式修改。
OS 级配置保护(agy-guard):用 POSIX 0555、macOS uchg、NTFS ACL 锁定配置和 prompt 目录,防止 agent 进程改写自己的规则;用 SHA-256 Merkle 哈希做完整性基线,支持全量回滚并清理循环运行产生的异常文件;附 CLI 和桌面 GUI。
独立审计子 agent:交付前由只读审计 agent 检查被吞异常(silent-failure-hunter)、安全边界(security-boundary-verifier)、未覆盖边界情况(specification-gap-auditor),不让模型给自己批作业。

项目完全免费开源:github.com/hadbilen/antigravity-harness

「编程与Agent」频道最新