Cohere 发布 CulturalRiddles：6200 条谜语测出 AI 文化知识短板
Cohere_Labs · x · 2026-10-28
Cohere Labs 在 EMNLP 2026 MRL Workshop 发布 CulturalRiddles 基准：由 45 国 167 位独立研究者协作编写，包含 51 种语言、来自 45 国的 6200 条文化谜语。
测试发现模型在训练数据之外的文化上表现明显吃力，倾向于幻觉作答而非承认不确定，即使内容被翻译后仍然失败。结论：文化知识不同于书面事实，仍是当前 AI 模型未攻克的领域。项目为开放协作，论文已公开。
所属事件:Cohere 发布文化谜题基准，最佳模型也仅答对八成(2 条相关)→
「研究」频道最新
- Anthropic 公开 6 家药企合作案例，Claude 深度介入药物研发 — akbirthko · 2026-10-28
- CPR 数据集:现有检索器跨领域联想最佳 Recall@10 仅 0.26 — coallaoh · 2026-10-28
- HuggingFace 机器鸭雪地行走：29 万片雪花物理仿真有多较真 — lukas_m_ziegler · 2026-10-28
- Mercor 联合斯坦福、NBER 发布开源任务目录 TaskNet,补齐 O*NET 盲区 — soumitrashukla9 · 2026-10-28
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28
- 基准也有保质期：Reddit 整理评测发布时间线防 benchmaxxing — Express_Quail_1493 · 2026-10-28