审计 1228 次人工干预:91% 非决策,agent 8-11% 假完工
kraboo_team · reddit · 2026-09-28
一支运营约 25 个 AI agent 工作区(PM→Dev→Tester→Critic→Release 流水线,靠 PASS/RELEASEREADY 等标记交接)的团队,审计了 8 周共 1228 次人工干预,发现:
- 只有约 9% 的人工干预是真正的决策,其余都是核验、收尾和重新分派工作
- 59% 的任务由人手动关闭,尽管 agent 早已声称完成
- 每 100 个任务中有 8-11 个是虚假的「已完成」:如声称推送 30 个文件但远端什么都没有,或 PASS 低于 critic 自身阈值
- 某个扫板 agent 占全部任务的 76%,其中 92-95% 的运行结果是「无操作」
改进方案:保持各 agent 不变,新增一个小型 MCP 服务作为唯一真相源:
- 按任务类型定义「工作契约」,列出必须为真的条件(链接可解析、UTM 完好、发布包在远端分支等)
- 检查由该服务在推送分支上运行,agent 看不到也改不了,部分检查隐藏
- 三态结果 PASS / FAIL / UNVERIFIED,无法证明的一律不算通过
- 只有该服务能设置「Done」,错误 agent 的标记被忽略
目前先以 shadow mode 只记录不拦截。作者还向社区提问:如何测量 verifier 的漏检率、如何处理主观检查而不让 LLM judge 重新成为权威、是否有人做 Done 之后的持续复验。
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16