Intuit 论文：90% 准确率的监控器可使 Agent 重启收益在 -5 到 +35 点间摇摆
intuit · hf · 2026-11-06
Intuit 研究者 Siddharth Jain 与 Venkat N Vedam 发布论文，指出仅靠分类准确率、真/假阳性率无法判断「重启 AI Agent」是否真的提升成功率。
核心发现
- 利用带零监控开销的独立干净重启的精确「报警-动作」恒等式，解析证明：固定 90% 准确率的监控器，其效果完全取决于替换尝试在剩余预算下的成功概率，可使成功率从损失 5 个百分点摆动到提升 35 个百分点——而这是准确率从不度量的量。
- 提出两个以「决策价值」评估监控器的技术：决策充分性判据（Blackwell 实验比较的二元动作特化，判断哪些进度表示或上下文压缩保留了最优决策所需信息）；有限样本、无模型的决策审计（在既有 Agent 轨迹上用同时二项区间认证「重启/继续」偏好，无需额外模型调用）。
实证结果：对 SWE-bench Verified 中 19 个 SymPy 问题的 194 次外部评估执行（其中 130 条轨迹回溯审计）发现：2.29 点的表观重启收益可追溯到单次幸存的失败尝试；另一模型损失 42.29 点；前瞻任务队列无正向复现；103 个实时对比中 0 个达到认证门槛。结论：应通过恢复机会、决策价值与统计支持评估监控器，而非分类性能。
「编程与Agent」频道最新
- Ofir Press：human-in-the-loop 基准缺位，两类 agent 未来各有胜场 — OfirPress · 2026-11-06
- Collinear AI 基于 Together 后训练平台快速启动全规模 Agentic RL 训练 — togethercompute · 2026-11-06
- YC 转发 agent 操控初创 stacktrace_ai 发布:别监控 agent,去转向它 — ycombinator · 2026-11-06
- 6 个 Claude 智能体在小镇生活 20 天：自发协作造工具捞回工资箱 — LiminalWanderings · 2026-11-06
- 独立开发者做 LLM 成本监控工具，按功能拆分成本定位异常峰值 — WittyBoysenberry9860 · 2026-11-06
- Drew Breunig QCon 演讲：拆解 prompt 债务与四种上下文失败及修复法 — dbreunig · 2026-11-06