Cohere 发布跨文化谜语基准:6200 条谜语 51 种语言,模型最弱文化仅 22% 正确率
Cohere_Labs · x · 2026-10-22
Cohere Labs 公布 CulturalRiddles 基准与幕后:由 150+ 作者、40 个国家、103 个机构协作完成的大规模开放科学项目。
- 基准包含 51 种语言、62 个文化的 6,200 条社区撰写的谜语
- 基于 68,154 条人工标注答案,28 个模型平均准确率 79.3%,但在部分文化社区仅 22%,跨文化差距显著
- 团队强调大规模协作研究虽难,却是让全球人群与文化被前沿 AI 研究代表和包容的最佳方式
配图为全部贡献者名单,涵盖中文、粤语、斯瓦希里语、康卡尼语等长尾语言社区。
所属事件:Cohere 发布 CulturalRiddles 基准:模型流利但不懂文化(8 条相关)→
「研究」频道最新
- 数学家撰写 Claude「2/3 定理」人类可读证明，黎曼零点下界升至 0.6725 — tak3sh8 · 2026-10-22
- Cohere 回顾 CulturalRiddles：外交官、高中生和退休教师共写谜语 — cohere · 2026-10-22
- Cohere Labs 发布 CulturalRiddles：6200 条谜语测出 LLM 文化盲区 — cohere · 2026-10-22
- AI 物理基准 CritPt v2 发布：GPT-6 Astra 以 83.1% 登顶 — OfirPress · 2026-10-22
- RIKEN Neuron 论文：丘脑网状核调控表征更新，支撑基于历史的决策 — melnykowycz · 2026-10-22
- 我们正濒临失去窥见AI真实思考过程的能力 — Puzzleheaded-King584 · 2026-10-22