大模型跨语言迁移效果弱于预期，低资源语言评估引热议

围绕“预训练中迁移学习实际不存在”的观点，多位技术人员展开讨论，普遍认为大模型跨语言迁移虽真实存在，但强度明显弱于 5 年前的预期。Jack Rae 以威尔士语等低资源语言为例指出，模型能力虽低但消耗算力比例也极低（如 1/1000），GPT-4 亦存在此现象；另有专家质疑 MMMLU 等测试指标可能因校准问题低估了真实的知识迁移能力。

2026-08-19 ~ 2026-08-20 · 4 条相关

• 技术观点：预训练迁移学习效果不如 5 年前预期 — jack_w_rae · 2026-08-19
• 观点：大模型跨语言迁移能力弱于预期 — willdepue · 2026-08-20
• Jack Rae 探讨低资源语言评估与跨语言迁移效率 — jack_w_rae · 2026-08-20
• 专家辩论低资源语言迁移：校准问题 vs 真实能力 — willdepue · 2026-08-20