Multilingual GSM-Symbolic: What determines capability transfer across languages?
Kenneth Enevoldsen, Riley Herchert, Sofie Mosegaard, Dan Saattrup Smart, Simon Enni, Isaac Chung, Sofie Bruun, Ayush Sunil Munot, Max Müller-Eberstein, Adnan El-Assadi, Elisa Bassignana, Gianluca Barmina, Hafsteinn Einarsson, Iben Nyholm Debess, Linda Freienthal, Lukas Galke Poech, Mike Zhang, Nicolas Legrand, Vladimir Salnikov, Yevhen Kostiuk, Zafar Hussain, Sagandeep Kaur, Agnes Toftgård, Marie Mattson, Kristoffer Nielbo
cs.AI, cs.CL
2026-10-02
在15种语言、3万道对齐的小学数学题上,规模(β=1.77)是迁移最大因素:马拉地语里的32B约等于英语10B,没见过的语言也能预测到6个百分点内。
小学数学的数量关系不随语言变,可以把「不会这门语言」和「不会这道题」拆开。MGSM 只是 GSM8K 里 250 题的静态翻译,格式、难度和泄题缠在一起,人名、货币、英制单位也没本地化。GSM-Symbolic 用模板换数字来避开背诵,但只有英文;mGSM-Symbolic 不发模板,MGSM-Pro 不发生成代码,也没处理 GSM8K 的已知歧义。
这篇放出 15 种语言、各 100 个模板,人工校验后每模板抽 20 道,共 30,000 道步骤对齐的题。同一模板可再换数字,用来避开背题面。
语系包括日语、汉语、俄语、印地语、法语、阿拉伯语、爱沙尼亚语。资源轴是日耳曼语族上的冰岛语、丹麦语、荷兰语、德语、英语,说话人约 30 万至 10 亿。乌克兰语、意大利语、马拉地语把低资源拉出这个语族。
母语者翻译,17 男 7 女,20 到 40 岁,均用 GPT-5.4 或 Claude Opus 4.8 起草再改。评测模型未参与翻译。单位、货币、文化指称和数字本地化,只把运算和推理步骤视为同一题。英文模板先清错;自动测试检查能否还原原题;答错模板由母语者按推理轨迹改正。冰岛语上,机译和人工版通不过 1 个百分点的等价检验;英语把英制改成公制则通过。
只评开源指令模型,零样本,提示词经人工翻译,数字须写入 \boxed{},否则算错。推理开关来自 Olmo 3 Think、Qwen3、Qwen3.5、Granite 3.2。英语预训练比例大约是 EuroLLM 50%、Apertus 40%、OLMo 2 与 3 为 90%,尺寸对比放在家族内部。EuroLLM-1.7B 有 54% 的生成超过 4096 token,开推理的 Qwen3.5-0.8B 有 95% 近乎空输出,两者剔除。
对错用广义线性混合模型(GLMM)拟合:逻辑回归加上随机效应,避免一个家族的一串检查点被当成独立样本。固定效应是规模(参数量取对数)、是否开推理、资源(Common Crawl 页数取对数)、类型距离(URIEL 里 103 个形态句法特征相对英语的余弦距离),以及相对分词膨胀率。绝对膨胀率和类型距离相关 r=0.8,所以膨胀率只留「比同行切得碎多少」。交互项用来问:做大模型、打开推理,是全体抬分,还是专门缩小低资源语言的缺口。
系数按每个因素的一个标准差来计,单位是对数优势比,因素之间能直接比大小。规模 β=1.77,资源 0.77,推理 0.67,类型距离 -0.25,相对膨胀率 -0.04(p=0.19)。正文另有一处把规模写成 1.88,与摘要和系数表的 1.77 不符,以下用系数表。
参数每翻倍约值 0.99 log-odds,网页每翻倍约值 0.25。参数翻一倍,大约抵得上 15 倍的页面。马拉地语要对齐同等成绩,参数大约需要 3.5 倍。摘要写成:马拉地语上的 32B,表现像英语上的 10B。
| 因素 | β | 读法 |
| 规模 | 1.77 | 最大主效应 |
| 资源 | 0.77 | 语言因素里最大 |
| 推理 | 0.67 | 有效,规模×推理为 -0.34 |
| 类型距离 | -0.25 | 离英语越远越差 |
| 资源×规模 | -0.27 | 越大,资源差越小 |
| 资源×推理 | -0.20 | 开推理也收窄差距 |
| 距离×规模 | 0.02(p=0.32) | 看不出作用 |
| 距离×推理 | 0.11(p=0.03) | 小,且附录里不稳 |
留一语言再预测:语言难度误差 3.2 个百分点(r=0.93),单模型 5.98 个百分点(r=0.96),比其余语言的均分少错 63% 与 39%。语言特征解释语言间方差的 92%,模型×语言只解释 23%。Apertus-70B 英语只有 22.7%,按特征应接近 75%。加上 10 个目标语言模板,误差降到 4.19 与 2.38 个百分点。只加 1 个模板,模型误差反升到 8.38。
符号变体比原题平均低 3.14 个百分点(705 个模型×语言格子),与强弱无关(r=-0.02)。英语罚 1.7 个百分点,区间含 0;俄语罚 5.5。资源和类型距离都预测不了这个罚分。
资源系数从读操作数的 0.32、中间步骤的 0.45,升到最终答案的 0.77;类型距离从 -0.08 升到 -0.25。读题阶段的距离效应还不显著(p=0.066)。按规定写出 \boxed{} 的比例,德语 94.5%,马拉地语 77.1%。Qwen3.5-27B 开推理后,英语与其他语言只差 3.3 个百分点,马拉地语仍有 90.2%。OLMo-2-32B 差 32.7 个百分点。Apertus-70B 英语 22.7%,低于非英语均值 58.5%。
规模和推理能缩小资源差,缩不了类型距离。只留英语准确率低于 90% 的 20 个模型后,饱和格子被拿掉,资源×规模仍是 -0.19,全样本 -0.27,大约四分之一到三分之一来自高分语言触顶。距离×规模在这些设定里都不显著,距离×推理既小,附录里又复现不了。结构离英语远的语言,不能靠同一组旋钮补上。
没测过的语言,平均难度可估到约 3 个百分点;指定模型时,10 个模板把误差收到约 4 个百分点。排名更早稳定:10 个符号模板与全量相关 0.96,50 个到 0.99。分数松得多,100 个模板时单格标准误还有 2.29 个百分点,减半大约要 400 个模板。每模板从 10 道加到 20 道,标准误只降 3%,模板之间已占方差的 93%。
范围停在小学应用题和指令微调的稠密模型,没有基座,也没有 MoE。低资源端主要是冰岛语、马拉地语、爱沙尼亚语。换到代码或长上下文,这组系数不必还成立。
类型距离和分词膨胀率相关 0.8,相对膨胀率不显著,-0.25 里仍然夹着「这种语言被切得很碎」。Common Crawl 页数会把低资源语言的可用文本估高:可用句子更少,语种也更容易标错。开放语料家族的英/非英差距与英语预训练比例同向,Apertus 约 -20.7 个百分点,EuroLLM 7.0,OLMo 2 与 OLMo 3 为 41.7 和 25.0,但后训练和模型新旧缠在一起,拆不开。
模型×语言方差只解释了 23%。放进模板×语言随机效应后,语言间仍约 91%,模型×语言降到 16%;新项标准差 0.92,模型×语言项 0.61,语言项 0.27。同一道题的难度会随语言变。主结果故意不用这个更满的设定,系数方向没变。92% 不能读成「哪个模型在哪门语言失常」已经能预测。
翻译草稿一律来自 GPT-5.4 或 Claude Opus 4.8,再人工改。冰岛语说明未校验机译不能当正式分,放出的约 100 种语言机译模板同样不能直接评。去饱和子集里能开关推理的模型只剩 3 个,全样本是 11 个。推理能缩小资源差,在已经接近满分的模型上还没有被单独证实。