Cohere 发布文化谜题基准,最佳模型也仅答对八成

Cohere Labs 在 EMNLP 2026 MRL Workshop 发布 CulturalRiddles 基准,由 45 个国家 167 位独立研究者协作编写,涵盖 51 种语言、共 6200 条人类撰写的文化谜语,用于测试 28 个 AI 模型的文化理解能力。结果显示存在重大缺口:表现最好的模型仅得到 79 分,部分社区的题目准确率低至 22%,揭示当前大模型在文化知识上的显著短板。

2026-10-26 ~ 2026-10-28 · 2 条相关