手动复核 AI 监工器:多数检查项错多对少,作者自曝踩坑全过程
chich2017 · reddit · 2026-11-19
一位开发者上周发布了一个监视长 AI 对话、捕捉「助手声称做了但实际没做」的检查器,随后停信任自己的数字,回溯人工打分,结果令人沮丧:
- 一个检查项评错了对象:本该追踪助手的承诺,实际大多在追踪用户自己说要做什么,大量误报。
- 一个检查项对看不到的工作下判断:助手在聊天页之外做的事(文件、commit、终端命令)它也照样评分,实测 3 对 7 错,直接退役。
- 一个 10/0 的漂亮成绩被撤回:它只是在计数,并没有验证声明是否为真。
- 盲测标注门槛两次失效。
踩到的陷阱:每次修复一个检查项,其历史准确率就作废,因为那是旧版本的成绩——结果是不停修、却始终没有一个能站得住的数字。
改进方案:冻结真正决定结论的两个检查项,新增一个测试——若代码在「同一版本下对 30 个真实样本重新打分」之前被改动就报错;目前诚实记录为 0/30。其余不稳定的检查项继续跑但仅供参考。作者还在社区建议下计划跑一轮「只看原始请求和最终产物」的核查,并向社区提问:你怎么检查你的检查器?
「编程与Agent」频道最新
- 上科大联合字节论文:Agent 进化停滞的根源是噪声评估辨不出真改进 — ShanghaiTech · 2026-11-19
- 微软 Copilot SDK 2.0 发布:Rust 内核+多模型智能体框架全面开放 — PaulShellDev · 2026-11-19
- 开发者重拾 Notion:省去搭建的上下文前端选择 — ivanhzhao · 2026-11-19
- W3C 社区推 WebMCP polyfill,网页可向浏览器 Agent 暴露工具 — philnash · 2026-11-19
- DeepSeek 早期核心成员开源本地个人 Agent Linger,称推理提速 5 倍 — Aiden_Tech_Ai · 2026-11-19
- Meta 开源类型检查器 Pyrefly 1.5:100% typing 规范符合率,提速 40% — tdhopper · 2026-11-19