Apple 研究：低资源语言预训练，混入高资源语言数据胜过调参
Apple ML Research · rss · 2026-10-13
Apple 机器学习研究团队发表论文《Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings》，研究数据受限（data-constrained）场景下的语言模型预训练问题——对世界上大多数语言来说，训练数据必须多次重复使用，导致泛化能力下降。
论文对比了两种补救方案：
- 激进的超参数调优（如高 weight decay），通过收缩权重限制网络容量来正则化模型；
- 混入高资源辅助语言的数据，用可调的混合比例直接扩充训练分布、多样化训练信号。
结论是：在数据受限设置下，双语混合训练的效果优于超参数搜索，为低资源语言预训练提供了更实用的路径。
「模型」频道最新
- Perplexity 上线 Gemini 4 Argon,称刷新 WANDR 基准纪录 — AravSrinivas · 2026-10-16
- 开发者吐槽现行 DLP 全是正则方案，欲用 LLM NER 重做 — HankYeomans · 2026-10-16
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16