Cohere Launches CulturalRiddles: 6,200 Riddles Across 62 Cultures Expose AI's Cultural Blind Spots
Cohere Labs 于 10 月 22 日发布新基准 CulturalRiddles,系统测试 AI 模型能否理解世界各地人类谜语背后的文化语境,而非仅掌握语言和事实。项目由 150+ 作者、40 个国家、103 个机构协作完成,是大规模开放科学项目,并与社区共同创作完成。团队在 Fast Company 撰文阐述动机:「了解一种文化的事实,不等于理解身处其中的人如何理解世界」。核心发现是流利 ≠ 文化理解:即使顶级模型,在处理区域性文化细节时也常常靠猜测或直接产生幻觉。
已确认
- 基准包含 6,200 条社区撰写的谜语,覆盖 51 种语言、62 种文化(45 个国家)
- 评测基于 68,154 条人工标注答案,对 28 个模型进行测试,平均仅得 79.3 分
- 部分社区的模型准确率低至 22%
- 谜语深植于各自文化,需要溯因与组合推理、事实与社会知识、语言能力和文化特定知识的结合
- 团队同时推出测验版本,让人类玩家与模型同台比拼文化知识
为什么重要
当前主流基准多聚焦事实知识与通用推理,CulturalRiddles 把「文化理解」量化为可测指标,首次大规模揭示前沿模型在非主流文化语境下的系统性盲区。随着 AI 在全球多语言场景部署,这一结果提示:模型能用当地语言流畅输出、知道文化事实,并不代表真正理解该文化中的人如何理解世界,这对跨文化应用的可靠性构成直接挑战。
2026-10-22 ~ 2026-10-22 · 7 related posts
Primary sources
- Cohere's CulturalRiddles: 28 LLMs score 79.3% on cross-cultural riddles, but just 22% in some cultures — Cohere_Labs ·
- Cohere Labs' CulturalRiddles: 6,200 riddles in 51 languages expose 22% model accuracy floor — Cohere_Labs ·
- CulturalRiddles: 62-culture riddle benchmark trips frontier LLMs to as low as 22% accuracy — CohereLabsCommunity ·
- Cohere Labs teases CulturalRiddles, a benchmark testing AI's grasp of cultural context — Cohere_Labs · 2026-10-22
- [source] CulturalRiddles: 62-culture riddle benchmark trips frontier LLMs to as low as 22% accuracy — CohereLabsCommunity · 2026-10-22
- [source] Cohere Labs' CulturalRiddles: 6,200 riddles in 51 languages expose 22% model accuracy floor — Cohere_Labs · 2026-10-22
- Cohere Labs unveils CulturalRiddles, testing whether AI models grasp culturally rooted riddles — Cohere_Labs · 2026-10-22
- Cohere's CulturalRiddles: top models hallucinate on cultural riddles — Cohere_Labs · 2026-10-22
2 near-duplicate retellings: Cohere_Labs · Cohere_Labs