Cohere Labs 发布 62 文化谜语基准，前沿模型部分社区准确率仅 22%
CohereLabsCommunity · hf · 2026-10-22
Cohere Labs 社区发布 CulturalRiddles，一个完全由人类通过社区共创完成的多文化谜语基准，覆盖 62 种文化（45 国、51 种语言）。这些谜语深植于各自文化，需要溯因与组合推理，以及事实与社会知识、语言能力和文化特有联想。
- 评测了 28 个 LLM 配置（0.8B–1.6T，含开源/闭源、思考/非思考模式），共收集 170,772 个模型答案，结合自动评测与大规模人类评估。
- 最佳模型整体准确率达 79%，但在部分社区（如 Lumasaba、Mongondow）所有模型准确率不超过 22%。
- 准确率随语言资源水平递减：高资源 38%、中资源 31%、低资源 18%、极低资源 13%。
- 模型倾向编造答案而非承认不知道：平均幻觉率 19%，说「我不知道」的仅 0.7%。
全部数据与开源贡献流程已公开，欢迎扩展语言与文化覆盖。
「模型」频道最新
- AI 小说获龚古尔奖却遭 ICLR 恶评,博主归因母语盲区与模型差异 — EliasEskin · 2026-10-22
- 博主支招 Codex 重置卡策略：先蹬完额度再等官方重置 — xiaohu · 2026-10-22
- 用 Kaldi 音素序列验证 TTS 发音,破解多音字试听难题 — dotey · 2026-10-22
- NVIDIA 开源 Nemotron 3.5 Parse,登顶 ParseBench 文档解析榜 — llama_index · 2026-10-22
- 阿里发布 Qwen-Audio-3.1-ASR：新增说话人分离与通用音频理解 — Chuanmeng Bian · 2026-10-22
- 第三方用自建测试对比 Flint 与 Qwen 3.6 35B — _rockt · 2026-10-22