清华蚂蚁 CausalMix：用因果推断替代试错法选微调数据配比
The Batch (Andrew Ng) · rss · 2026-10-16
清华大学、蚂蚁集团与人民大学团队（一作 Zinan Tang、Yukun Zhang）提出 CausalMix，用因果方法从数据配比（mixture）与数据质量（quality）的混杂效应中分离出配比对微调性能的净贡献：
- 方法：从 Tulu 3 构建了 512 个 10 万条样本、不同领域配比的子集，用 OpenDataArena-Tool 量化难度/推理复杂度/写作清晰度等质量指标；在每个子集上微调 Qwen2.5-0.5B 并测 10 个基准，再用三个 LightGBM/CausalForestDML 决策树集成模型分别估计质量贡献、配比与质量的相关部分、以及配比的边际增益，推理时采样 10 万种配比取 top-100 平均。
- 结果：80 万样本微调下，Qwen2.5-0.5B 平均 32.81%（DMO 32.04%）；Qwen2.5-7B 达 62.28%（DMO 60.35%），且无需在 7B 规模重跑 512 次试验；迁移到 Qwen3-4B 与代码/数学数据集也领先（66.66% vs 63.47%）。
- 局限：在 Tulu 3 留出集上 CausalMix（25.04%）反而逊于 DMO（26.49%），跨数据集泛化尚不明确。
- 意义：提供理性而非试错的数据配比优化方案，可用小模型小数据找到配比并安全地随模型/数据规模放大。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23