HalluWorld 基准获 NeurIPS 采纳:感知近乎满分,模拟与弃答仍是幻觉重灾区
Jeande_d · x · 2026-09-29
HalluWorld 是一个通过「参考世界模型」来测量 LLM 幻觉的可控基准:在完全规定好的 grid world、国际象棋和终端环境里,模型任何与事实不符的可观察陈述即算幻觉,已被 NeurIPS 2026 Evaluations & Datasets 采纳。
关键发现:
- 感知几乎解决:12 个模型中 7 个在 grid world 感知探针上达到 0.0% 错误,5 个在无 FEN 输入的象棋感知上零错误。
- 模拟仍很难:多步状态追踪与前向模拟全线失守,所有模型在 grid memory 探针上至少 16.7% 幻觉;上下文里有错误 FEN 时,最强模型在因果象棋探针上也失败 18–32%。
- 弃答能力落后:没有模型能在 grid 不确定性探针上把幻觉压到 24% 以下;真实终端任务中不确定性类幻觉仍达 9–27%,其他类别已接近零。
结论是「幻觉不是一个单一能力」,不同 mitigation 需要分类评估,现有跨任务基准碎片化问题因此被针对性解决。
所属事件:HalluWorld 基准获 NeurIPS 采纳:LLM 感知近满分,模拟与弃答仍高发幻觉(2 条相关)→
「研究」频道最新
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16