JHU 新基准:LLM Agent 准确率高≠认知谦逊,冲突中常硬撑错误答案
JohnsHopkins · hf · 2026-10-09
约翰霍普金斯团队提出认知谦逊(Epistemic Humility, EH)评测框架:当检索证据与 agent 先验信念冲突时,agent 是否会修正答案、承认不确定性或坚持错误结论。
框架设计
- 用 Identify、Solve、Escalate(ISE)三个轨迹级行为维度操作化 EH。
- 设置两种知识冲突场景:受控冲突,以及多步 agent 执行中自然发生的冲突,并配以无冲突对照组。
关键发现
- 评测 4 个 agent 后发现:任务准确率高不等于认知谦逊——一些高准确率配置能在执行中识别冲突,却不在错误的最终答案中沟通未解决的不确定性。
- 轨迹分析显示,agent 常在执行早期检测到冲突,但无法在后续步骤中维持或解决。
- 模型级干预可提升 EH,但往往以牺牲任务准确率为代价,表明 EH 源于骨干模型、agent 框架与评测环境的交互。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23