帝国理工 EMNLP 论文：重复失配致小规模数据混合实验难以外推
MarekRei · x · 2026-10-25
Imperial College 与 Cohere 的论文《Repetition Mismatch: Why Data Mixture Experiments Don't Scale and How to Fix Them》将在 EMNLP 2026（布达佩斯）Poster Session A 展示。
- 动机：数据混合通常用小规模实验调优后外推到全量训练；当高质量数据有限时，预算增大会改变重复次数，导致最优混合比例漂移——作者称之为「重复失配」（repetition mismatch），是小规模外推失败的主因。
- 方法（repeat-aware）：在每个代理 horizon 对高质量数据下采样，使重复率与目标一致（Li et al. 2025）；基线为传统 scaling laws 外推（1/16、1/8、1/4、1/2）。
- 结果：单 horizon 的 repeat-aware 在 124M 模型、1.17B token 时已接近最优（0.10 vs 0.85）；多 horizon（3-4 个）在 1.17B 时超越基线，但计算成本递增（每加一 horizon 约 6%/19%/44%/94% 额外 token）。模型越大收益越大（单 horizon 误差 0.65→0.10）。
- 结论：重复次数应作为混合优化的显式变量，现有方法可通过重采样直接采用。
「研究」频道最新
- Judea Pearl《The Book of Why》：面向大众的因果推理入门书 — burny_tech · 2026-10-25
- CERN 携手 Mistral 打造首个对撞机物理大模型 — burny_tech · 2026-10-25
- CERN 与 Mistral 签署合作意向，共建对撞机物理首个基础模型 — burny_tech · 2026-10-25
- CERN 携手 Mistral 打造首个对撞机物理基础模型 — burny_tech · 2026-10-25
- 独立开发者开源人脸生成模型 Visage-Image：自训窄域 VAE 在 iFID 上超 FLUX.2 — Sherstnyov · 2026-10-25
- leogao 撰文反驳「可解释性已解决」:激活样本漂亮不等于解释正确 — burny_tech · 2026-10-25