AgentForesight:7B 模型在线审计多智能体,Exact-F1 达 66.44
机器之心 · wechat · 2026-10-10
罗格斯大学、得州大学奥斯汀分校与普渡大学团队提出 AgentForesight,把多智能体失败分析从「事后归因」前移为「在线审计」:一个 7B 模型在任务运行中逐步读取执行前缀,尽早判断是否该报警,并定位错误步骤与责任 Agent。
- 数据与方法:构建 AFTraj-2K 数据集(2,272 条标注轨迹,覆盖代码、数学与 Agentic 任务);采用两阶段训练——先用边界对偏好优化(BPPO)学会「继续 vs 报警」的临界判断,再以三轴奖励细化错误归因。
- 结果:留出测试集上 Exact-F1 达 66.44,比最强基线高 19.88 分;错误位置偏差从 1.77 降至 0.59;成功轨迹误报率仅 2.37%(169 条中仅 4 条误报)。
- 洞见:后续 Agent 重复一个错误答案并不会让它变成可靠证据;在线审计要区分「信息待补充」与「错误已被当作前提」。执行与审计可分别优化,报警结论可用于暂停、重规划或转人工。
- 局限:未验证报警后干预能挽救多少失败;逐步审计增加调用开销;更长工作流与具身任务表现待评估。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案，AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23