数据重复浪费算力,EMNLP 论文揭示数据配比实验不可扩展
MarekRei · x · 2026-09-05
- 论文《Repetition Mismatch: Why Data Mixture Experiments Don't Scale and How to Fix Them》入选 EMNLP2026(布达佩斯)。
- 研究在数据受限(data-constrained)训练场景下,数据集重复(dataset repetitions)如何影响最优数据配比(data mixing),指出传统数据混合实验结论在规模化时因重复数据而失真,并提出修复方案。
- 作者 kevinzhou497 附有推文线程展开细节。
「研究」频道最新
- 上述扩散语言模型偏见研究上线可交互 demo,可扫全部采样组合 — Bollegala · 2026-10-23
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- Google 量子 AI 上线可验证量子线路编译 Kaggle 赛题 — JFPuget · 2026-10-23
- 聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token — kalomaze · 2026-10-23
- 研究者让 Grok 自己写提示词，追查 X 上 LLM 驱动的阿联酋水军网络 — FlorianGallwitz · 2026-10-23
- 开发者把 Qwen3-0.6B 改造成 MoE：质量下降，0.6B 级别提速有限 — Bayliner1980 · 2026-10-23