微软清华论文:结构化运行视图让 GPT-5.1 定位 agent 失败从 3.6% 升至 31.4%
rohanpaul_ai · x · 2026-09-09
微软与清华大学合作的论文发现,长 agent 运行中早期错误会引发后续症状,直接让 LLM 阅读原始对话历史容易归因到错误步骤。
核心做法与结果
- 不给 judge 模型原始对话,而是提供结构化的运行表示(基于轨迹抽象出行为表示,并引入 neural invariants 描述 agent 行为属性,再用 LLM 在结构化表示上推理)。
- GPT-5.1 的失败步骤精确定位率从 3.63% 提升到 31.35%。
- 结论:agent 调试的关键在于「如何表示运行过程」,而不只是 judge 模型有多强。
作者提醒这问题尚未解决(31% 仍很低),建议在让 LLM 解释失败之前,先把结构化 trace 和显式失败检查做进系统里。
所属事件:微软清华论文：结构化视图大幅提升 agent 失败定位精度(2 条相关)→
「编程与Agent」频道最新
- 开发者正训练「看门模型」：专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27
- FrontierCS 2 登陆 Kaggle：48 项任务让智能体复现 13 领域论文贡献 — MeganRisdal · 2026-10-27