CulturalRiddles: A Multicultural Benchmark of Riddles
My Chiffon Nguyen, Tianyi Hu, Vinod Anbalagan, Henry Gagnier, Pouya Sadeghi, Farah Abdou, Tidor-Vlad Pricope, Diego MMS Oliveira, Jocelyn K D'Arcy, Madeline Smith, Oluwaseun A Ajayi, Yusser Al Ghussin, Zena Al-Khalili, Micol Altomare, Shayan Amir, Ahanaf Aziz, Bryan Chen, Ruchira Dhar, Abdellah El Mekki, Rawan Mohammed Elframawy, Akhil Eppa, Silvia Fernandez, Alex Gimei, Arya Hariharan, Christian Hoang, RamMohanRao Kadiyala, Diana Kozachek, Peerat Limkonchotiwat, Ankita Maity, Di Mo, Ayush Munot, Aylin Naebzadeh, Anastasiia Nikitina, Dina Pisarevskaya, Divas Poudel, Jebish Purbey, Md Rabius Sany Apu, Ahmad Mufli Ramadhan, Ralitza Nikolova Rizova, Diogo M. Serrano-Miranda, Vivek Gopalkrishna Silimkhan, Luis Fernando Solis Navarro, Kaiser Sun, Arya Suneesh, Manaswitha Sunkara, Tejaswi Sunkara, Jonathan E Swindell, Hanna Yukhymenko, Jingyi Zheng, Esther Adenuga, Ilia Afanasev, Wafa Aissa, Lisa Alazraki, Lauren C Altomare, Priscilla Amondi Amuok, Emile Anand, Gabriel Assis, José Matías Avalos, Silvia Lorena Avila, Zakaria Baannou, Niyati Bafna, Yash Bagla, Sarah Bahrami, Bontu F Balcha, Vanya Bannihatti Kumar, Irene Baucells, Abdumutalib Begmuratov, Naman Bhatia, Souvik Bhattacharyya, Isabel Blanco Ferreiro, Felipe Bochini, Sayuru Bopitiya, Angana Borah, Tulika Bose, Olena Bugaiova, Juliana Carvalho, Nancy F Chen, Stephy Chen, Rochelle Choenni, Jayanth Krishna Chundru, Leandro A Cossio, Nebojša Damnjanović, Ona de Gibert, Marco De Santis, Pedro Delgado, Kaustubh Dholé, Adnan El Assadi, Wesam El-Sayed, Nadine M Elframawy, Oumayma Essarhi, Naome A Etori, Reuben Chagas Fernandes, Saanidhi Pravin Gade, Javier García Gilabert, Álvaro González-Escapa, Bin Hu, Kaiyu Huang, Abderrahmane Issam, Danka Jokić, Ulugbek Khalilov, Dominik Krzemiński, Roy Ka-Wei Lee, Haichang Li, Chen Cecilia Liu, Zhengyuan Liu, Cedric Lothritz, Houman Mehrafarin, Antonio Miranda-Escalada, Fengran Mo, Mehrnaz Mofakhami, Wafaa Mohammed, Felipe Moreno-Vera, Prahitha Movva, Jannatul Nayem, Van Ngo, Joy Olusanya, Marc Pàmies, Avinash Kuney Pandey, Yurii Paniv, Fred Philippy, Vladislav Poritski, Dikshya Poudel, Joanna Radoła, Sara Rajaee, Swati Rajwal, Prerana Rane, Muhammad Ravi Shulthan Habibi, Lucas Resck, Shubhashis Roy Dipta, Ananya Sahu, Eduardo Sánchez, Borja Sánchez Clemente, Aleix Sant, Nobin Sarwar, Istiak Shihab, Santhoshini Pranathi Singaraju, Jane Smith, David Stap, Emily Z Su, Ananth K Suresh, Sajag Swami, Ruiyang Tan, Nazia Tasnim, Khalid Tounoussi, Patteera Triamamornwooth, Muhammad Saad Umar, Shankar Venkitachalam, Oksana Volchek, Lingbo Wang, Debela Desalegn Yadeta, Rushikesh Zawar, Jinghan Zhang, Mike Zhang, Weihua Zheng, Marzieh Fadaee, Akhil Arora, Károly Boczka, Julia Kreutzer
cs.CL, cs.AI
2026-10-22
167名母语者写6191道谜题、覆盖62个社群，评28个模型：最强79.4%，最难两社群无人超过22%。
文化向评测大多只检查模型记不记得某条事实。BLEnD、CulturalBench、Global-MMLU 以选择或回忆为主，覆盖参差，人工判分往往只有几百条、不到十种语言。直接问德国 11 月 9 日叫什么，答对只说明记得 Schicksalstag（命运之日）这个名词。谜题换成「德国的 9/11」，要先按德语日月顺序把日期读成 11 月 9 日，再联上德国人对这一天的叫法。几条线索要拼成一个说得通的答案。这用的是组合推理和溯因推理：前者把每条线索的联想收在一起，后者选出最能同时解释全部线索的那个答案，再加上只在该社群成立的记忆。
已有文化谜题基准停在一到三种语言。MultiNRC 里没有模型的评审分超过 50%，BanglaRiddleEval 最好的选择题准确率约 56%，人类是 83%。CulturalRiddles 把规模放到 62 个社群、6191 道新写的开放式谜题上。
采集单位是仍在使用的国家-语言社群，如匈牙利的匈牙利语、墨西哥的西班牙语。Cohere Labs Community 组织 167 名志愿者，约六个月写完 6191 道原创谜题，覆盖 62 个社群、51 种语言、45 个国家。每社群目标 100 道：八个共用话题各 10 道，外加两个自选话题各 10 道。124 个自选话题里食物占 27.4%。
题目全新撰写，社群之间不翻译。问法要绕，答案通常一到四个词，用当地认得出的外号和行话。另一位母语者核每道题可解、线索清楚、参考答案正确，不要求全体成员都会做。43 个社群的 76 份问卷里，97.4% 说主要靠亲身经历。七种语言跨多个国家，七个国家含多种语言（印度十种），阿拉伯语有五个变体。布吉语、蒙贡杜语、马萨巴语、孔卡尼语、苏丹阿拉伯语未出现在此前的文化基准中。
28 个模型配置共用一套英文提示，提示里写明国家和话题，各答 6090 道，合计 170520 条。西班牙西班牙语有 100 道来晚了，未进入这批结果。规模从 0.8B 到 1.6T，其中一档 GPT-5.5 打开了网页搜索。
评分分三路。规则覆盖全部回答的 18.87%：忽略大小写的精确匹配算对，空输出和占位符算错，写出 I don't know 单独记档。母语者标了 68067 个不同答案，覆盖 100769 条回答（59.10%）。其余交给 Gemini 3.5 Flash 和 DeepSeek V4.1 Flash，模型名对它们隐藏，双方分数一致才采纳。1.78% 意见不合的不进准确率。准确率只计完全正确，部分正确和承认不知道都不算。模型对比用的是 57 个有有效人工评测的社群。
两位母语者在「对不对」上的 Cohen's κ 为 0.80，四分分数的加权 κ 也是 0.80。裁判对人类约 0.79 到 0.84。13 类错误类型只有 0.41，类型只能当描述。人类判错的答案里，两名裁判共同放过 Gemini 3.1 Pro 的 9.0%、GPT-5.5 的 6.9%。换种说法也对的答案，单个裁判拒掉 25% 到 29%。
| 模型 | 整体准确率 | 精确匹配漏掉的正确回答 | 低于50%的社群 |
| Gemini 3.1 Pro Preview | 79.4% | 39% | 6/57 |
| GPT-5.5（默认） | 76.3% | 44% | 9/57 |
| Claude Opus 4.7 Thinking | 66.0% | 48% | 9/57 |
| GPT-5.5（搜索） | 64.5% | 41% | 14/57 |
| DeepSeek V4 Pro（高推理） | 63.8% | 43% | 11/57 |
| Gemini 2.5 Flash | 50.1% | 50% | 27/57 |
| Gemma 4 31B | 39.6% | 48% | 35/57 |
| Qwen3.5 0.8B | 0.4% | 68% | 57/57 |
表中略去仍高于 50% 的两档：Claude Opus 4.7 非思考 59.7%，DeepSeek V4 Pro 默认 58.8%。排在 Gemini 2.5 Flash 之后的模型都低于 40%，8B 及以下最高 10.4%。Gemma 4 31B 的 39.6% 高于 OLMo-3 32B Think 的 11.3%，也高于两款 Apertus 70B 的 19.6% 和 15.2%。公开权重里最高的是 DeepSeek V4 Pro 高推理档，总排第五。
打开思考后，Claude Opus 4.7 高 6.3 个百分点，DeepSeek V4 Pro 的高推理档再高 5.0 个百分点。GPT-5.5 打开网页搜索，从 76.3% 降到 64.5%。搜索后答错、且标了类型的题里，39% 是大类对、实体错，25% 是编造。一道斯瓦希里语谜题问 Lunatic Express 的家在哪，多个模型答成乌干达铁路，漏了内罗毕铁路博物馆。
精确匹配漏掉约 47% 最终判对的回答。补上人工和裁判后，除 Qwen3.5 0.8B 外，准确率相对精确匹配提高 64% 到 166%。Claude Opus 4.7 Thinking 因此从第五升到第三。规则和人工打过的 132940 条里，编造占 24.19%，承认不知道占 0.80%。提示允许弃答，任一模型最高只有 3.81%。
八个最容易的社群跨模型平均 47% 到 66%，中位模型在美国英语上达到 73%。八个最难的平均 4% 到 14%。Gemini 3.1 Pro 和 GPT-5.5 在这八个上平均 43% 和 39%。Lumasaba 与 Mongondow 没有任何模型超过 22%。
按 Common Crawl 页数分档，汇总准确率从高资源 37.0% 降到中资源 30.8%、低资源 18.0%、极低资源 12.7%，档内标准差仍有 8 到 13 个百分点。斯瓦希里语属中资源，苏丹阿拉伯语继承阿拉伯语的高资源档，仍在最难一组。中国简体中文平均 28.5%，新加坡中文 46.3%，差 17.8 个百分点。五个模型改答五个最难社群的英语译文，2049 条两侧都有分的回答从 22.1% 升到 32.4%（加 10.3 个百分点，区间 7.6 到 13.0）。同一批模型在高资源社群约 69%，翻译补上的大约是这段差距的五分之一。苏丹阿拉伯语看不出提升。布吉语、马萨巴语、约鲁巴语升 14 到 18 个百分点。
Tiny Aya 的地区变体在目标地区内没有显著差异（Cochran's Q，p 都大于 0.48）。Qwen-SEA-LION-4.5 27B 比 Qwen3.5 27B 整体高 5.5 个百分点，目标地区没有额外增益。题目侧的方差里，单题约 60%，语言 24%，社群 13%，话题 2%。模型身份占全部方差的 38%。约三分之一谜题的英文答案含极罕见词，答对的调整后优势比约为常见答案的一半（OR 0.54，区间 0.46 到 0.65）。孔卡尼语问的是果阿层层甜点 bebinca，GPT-5.5 和 Claude 答成装着它的整盘圣诞甜食 kuswar。
给头部新模型打分，规则加上其他模型已有的人工标签能盖住约 80% 的回答，还要母语者看的大约 100 到 115 条。中位模型只能盖住 51%，最小模型只有 2% 到 13%，因为错答几乎不重复。
调整后，低资源和极低资源答对的优势比是高资源的 0.10（区间 0.02 到 0.48）和 0.04（0.01 到 0.15），点估计大约差 10 倍和 25 倍，区间很宽。原始准确率温和一些：37.0%、18.0%、12.7%。译成英语只补约五分之一，同一语言的社群可以差 17.8 个百分点，对着目标地区做的区域模型也没多拿分。缺的是当地的称呼、典故和记事方式。最终对错分不出缺少事实，还是线索读错。
精确匹配会改名次。开放式文化题只报字符串命中，会把模型之间的差距拉大。
每个社群通常一到两名写作者。另一位母语者核的是可解性和参考答案，覆盖面仍等于这几个人选择写下的东西。问卷里约三分之一的人认为题目主要靠众所周知的知识，26% 认为主要是地方知识。换一批写作者之后，最难社群是否还是这一批，没有再测。
摘要写谜题完全由人创作。问卷里 46.1% 用 AI 试过难度，39.5% 用 AI 做头脑风暴，5.3% 用 AI 改写或合写。对照表把纯人工出题标成部分成立。这些文本有没有进过被测模型的日志，没有检查。
约 22% 的回答只由裁判打分。裁判会放过头部模型的一部分人类判错答案，也会拒绝 25% 到 29% 换种说法也对的答案，抬高和压低同时存在，净效果没有折成一个总百分点。错误类型的 κ 只有 0.41，24.19% 适合看量级。英译实验没有母语者复核，并去掉 41 道译文里直接出现答案的题，其中 38 道来自 Lumasaba，五分之一这个比例在马萨巴语上更不稳。
主实验的提示词全程是英文，没有换成当地语言的对照。中国简体和新加坡中文差 17.8 个百分点，数据覆盖、题目抽样和写作者风格各占多少，没有拆开。信德语（印度）的人工标签整组无效，另有三个社群没有人工标签，主结果因此停在 57 个社群。