LLM 难以理解自身失败，新基准揭示 Agent 自我诊断短板
jiank_uiuc · x · 2026-08-15
针对 AI 递归自我改进热潮，研究者推出了 Who&When Pro，一个包含超 1.2 万个失败轨迹的大规模基准，涵盖 26 个基准测试和 15 个智能体框架。
核心发现：
- 定位尚可：当前 LLM 有时能定位失败发生的位置（Who & When）。
- 归因困难：识别底层的失败类型（Why）依然非常困难。
- 现实差距：这暴露了期望 Agent 自我诊断并从错误中学习的巨大能力缺口。
「研究」频道最新
- 传 Nick 可解释性研究重大突破,好到 Yudkowsky 也得下调 p(doom) — QuintinPope5 · 2026-10-16
- Laurent Younes 机器学习导论：从优化到生成模型的全免费教材 — TheTuringPost · 2026-10-16
- JHU 教师 Laurent Younes 免费教材《机器学习导论》:覆盖优化到生成模型 — TheTuringPost · 2026-10-16
- RFdiffusion3 登上 Science,同步开源生物分子设计 agent 框架 Chaperone — anshulkundaje · 2026-10-16
- 微软论文：给路由器看会话历史，多轮 Agent 任务成功率多提 3.3 分 — dair_ai · 2026-10-16
- 研究者痛批烂评测泛滥：每个人都该亲手做一次好 eval — gabriberton · 2026-10-16