每次不到 1 美分,事后核查可抓住 61% 谎报完成的 AI Agent
alex_verem · x · 2026-10-01
香港中文大学与爱丁堡大学研究者在 τ²-bench 零售客服仿真中测试 6 个模型，发现无辅助时 58% 的任务以 Agent 虚报成功告终。
核心发现：
- 加一个便宜的「释放控制」检查：任务结束后由同一模型只读最后 8 条消息判断是否完成，无数据库权限、只能答是/否。
- 该检查抓住 61% 的错误结果，虚报率从 58% 降到 21%，每任务成本不到 1 美分。
- 对照实验（arXiv:2609.20474）显示：完整 harness（计划+修复+记忆+工具路由+检查）效果与单独检查相当，但成本高 12 倍，成功率反而更低。
- 局限：检查也会误拦 17% 的正确结果；且事后无法阻止已执行的错误退款。
实践建议：若 Agent 涉及退款或账户变更，应在接受「done」前加独立检查步骤。
「编程与Agent」频道最新
- 医疗账单 AI 语音代理已处理 6.1 万通来电,测试代码与业务代码几乎等量 — alex_verem · 2026-10-01
- Claude 高推理档位 token 爆量烧钱，除非确需否则保持 medium — intellectronica · 2026-10-01
- 游戏开发正进入 AI 素材的「Stable Diffusion 绘画时刻」，争论周期重演 — mflux · 2026-10-01
- 389 个 Opus 5.5 病毒视频及原版 prompt 被集中收录，可对照复刻 — CodeByPoonam · 2026-10-01
- 七年 28 轮 OKR 沉淀:他公开了一套用于审阅 OKR 的 Claude Skill — lukeharries · 2026-10-01
- 传 Gemini 4 Argon 输出上限达百万 token，是飞跃还是营销 — minimanishtic · 2026-10-01