NeurIPS 新基准 NarrativeBench:LLM 难覆盖多语言叙事全貌
anas_ant · x · 2026-11-14
NeurIPS 论文 NarrativeBench（Nikhil Sharma、Kelly Marchisio、Kenton Murray、Ziang Xiao）研究 LLM 能否帮助用户在多语言、多元文化的叙事生态中导航。结论是当前模型并不支持。
基准设计与发现：
- 基础能力：按要求纳入特定叙事、排除特定叙事、在下一轮补全遗漏叙事——模型难以准确执行；
- 关键发现：即使明确要求多样性，最强模型配置也只覆盖了约 3/4 的可用叙事；叙事覆盖随提问措辞与语言而变化；
- 错觉风险：看似遵循指令又看似完整的回答会制造「知识错觉」与「控制错觉」，用户以为已看全所有相关叙事，实则陷入生成式过滤气泡/回音室；
- 高级能力：呈现多元叙事、在倾向性查询下维持覆盖、跨语言提供可比的信息获取——模型均表现不佳。
配套的 NarrativeBench Explorer 网站可按地区探索全球结果。
所属事件:新基准 NarrativeBench 揭示主流 LLM 难呈现多语言叙事(2 条相关)→
「研究」频道最新
- CQ 4-bit 量化持平 BF16，NF4 在 GSM8K 掉 12 分 — textclf · 2026-11-14
- CLM 提出 prefix-reuse FLOPs：量化 Agent 上下文真实算力成本 — RulinShao · 2026-11-14
- Inkling 2 Small 全程原生 4-bit 训练：预训练仅提速 8% 引质疑 — andrew_n_carr · 2026-11-14
- 5 行代码测 80+ 图像匹配器：VisMatch v1.5 引入 DaD、SANDesc 等新方法 — gabriberton · 2026-11-14
- 图像匹配模型评测新思路：用相似不同地场景构造三元组 — gabriberton · 2026-11-14
- BirdDreams 世界模型：单图生成驾驶视频，其他车辆会对你急刹 — jonLorraine9 · 2026-11-14