手动复核 AI 监工器:多数检查项错多对少,作者自曝踩坑全过程

chich2017 · reddit · 2026-11-19

一位开发者上周发布了一个监视长 AI 对话、捕捉「助手声称做了但实际没做」的检查器,随后停信任自己的数字,回溯人工打分,结果令人沮丧:

踩到的陷阱:每次修复一个检查项,其历史准确率就作废,因为那是旧版本的成绩——结果是不停修、却始终没有一个能站得住的数字。

改进方案:冻结真正决定结论的两个检查项,新增一个测试——若代码在「同一版本下对 30 个真实样本重新打分」之前被改动就报错;目前诚实记录为 0/30。其余不稳定的检查项继续跑但仅供参考。作者还在社区建议下计划跑一轮「只看原始请求和最终产物」的核查,并向社区提问:你怎么检查你的检查器?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →