HalluHard 基准:前沿模型多轮幻觉率仍居高不下
maksym_andr · x · 2026-09-18
新发布的 HalluHard 幻觉基准排行榜揭示：现有基准已饱和、多为单轮场景、评判能力有限，而 HalluHard 采用多轮任务与严格校验，要求模型读取并解析包括 PDF 在内的全文来源。
- 覆盖领域：法律案例、科研问题、医疗指南、编程四类，可切换是否开启联网搜索，并按 1-3 轮细分。
- 自条件效应：在引用类任务中，模型越往后轮次幻觉越多——3-20% 的错误引用会在后续轮次复现，因为模型以自己早先的错误为条件；编程类随任务聚焦反而呈下降趋势。
- 能力相关性：更强模型幻觉率一致更低（GPT-5-nano → GPT-5-mini → GPT-5），GPT-5.2、Claude-Opus 等新旗舰全面改善。
- 推理并非万能：有效思考能降低 GPT 系幻觉，但效果因模型而异（DeepSeek-Reasoner 无改善）。
即使开启联网搜索，前沿专有模型在该基准上仍然吃力。
所属事件:GPT-6-Astra 登顶 HalluHard 幻觉评测榜(4 条相关)→
「模型」频道最新
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02
- Reddit 热帖追问:为何主流 AI 模型集体忽略冰岛女性罢工 — Mathemodel · 2026-11-02