HalluWorld 基准入选 NeurIPS:模型感知近乎完美,模拟推理全面翻车
xennygrimmato_ · x · 2026-09-29
Varun Gangal 团队发布 HalluWorld,一个受控基准与方法论,把 LLM agent 放进每一步真值已知的参考世界(网格世界、国际象棋、终端任务)中,可验证地测量和诱发 agent 的幻觉。论文已被 NeurIPS 2026 Evals & Datasets 接收。
核心发现:
- 感知接近解决:12 个模型中有 7 个在网格世界感知探针上 0.0% 错误,5 个在不给 FEN 的情况下下棋 0.0% 错误——直接观察到的状态几乎不幻觉。
- 模拟依然很难:多步状态追踪与前向模拟全线失守,所有模型在网格记忆探针上至少 16.7% 幻觉;即使上下文里混入错误 FEN,最好的模型在国际象棋因果探针上也会失败 18–32%。
- 弃答能力落后:没有模型能在网格不确定性探针上把幻觉率压到 24% 以下;在真实终端任务中不确定性类幻觉率仍达 9–27%,而其他类别已接近零。
结论是"幻觉不是一种能力"——感知、因果模拟、记忆、不确定性应分开评测,而非笼统的单一分数。
所属事件:HalluWorld 基准获 NeurIPS 采纳:LLM 感知近满分,模拟与弃答仍高发幻觉(2 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- Every 团队实测 Claude Fable 5.2:让 agent 通宵跑大项目 — every · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16