Reddit 开发者三招堵住 Agent 自评漏洞:89% 复核一致率背后的陷阱
armanidev_ · reddit · 2026-11-23
作者接上帖,根据社区反馈修了三个自己 agent 工作流的漏洞:
- 盲法复核:原复核 agent 能看到首个 agent 的标签,现改为只见原始标题、打乱顺序、由 3 个全新 agent 独立重标,1327 条中与原标签一致 1177 条(约 89%)。意外发现:30 天内求建站的需求两次都数出 10 条,但只有 8 条是同一批人——总数吻合不代表判断一致。
- 漏检率分道检查:随机抽 50 条"其他"桶,漏检率 4%,但置信区间实为 1%13%;按 lane 拆分后发现两条漏检都是视频编辑帖,盲标 agent 在该桶 78 条中标出 19 条可疑——汇总数字掩盖了某条通道的严重漏检。
- 基线对照:每次运行额外监控 HN 上四个无聊话题(咖啡、象棋、天气、自行车)作为对照组,须连续 3 次运行平稳才算有效基线,目前仅 1 次。
作者最后提问:当 agent 总数一致但单条判断不一致时,该信哪个?
「编程与Agent」频道最新
- 机械工程师用 AI 拍库存照设计机器人:它已比我强 — burhop · 2026-11-23
- 20 仓库实测:精简 agent 上下文省 7% 成本却多花 18% tokens — Independent-Flow3408 · 2026-11-23
- LangChain 创始人转发:声明式软件工厂把「完成」变成系统工程 — hwchase17 · 2026-11-23
- MCP 工具从 7 个砍到 2 个:成本降 7%,tokens 反增 18% — Independent-Flow3408 · 2026-11-23
- huashu-design 3.5 发布:新增微信小程序设计,可衔接 WorkBuddy 落地 — AlchainHust · 2026-11-23
- 开发者对比 Firecrawl 与 context.dev:Agent 网页数据栈怎么选 — lewishorsley96 · 2026-11-23