微软研究员盘点 ICML 多项训练优化前沿研究
JohnCLangford · x · 2026-08-03
微软研究院的 John Langford 盘点了近期（主要来自 ICML）他认为值得关注的多篇 AI 训练与优化相关论文：
- FAC：通过构建合成样本来覆盖诱导出的稀疏特征表示，仅需 1/100 的数据量即可完成后训练（Post-train）。
- Bounded Log loss：在推理（reasoning）的监督微调阶段，该方法能带来显著提升。
- Maximum Likelihood RL：通过过度强调低概率的成功路径，为思维链（CoT）强化学习提供了更好的偏差基础。
- MuonSSM：将 Newton-Schulz 引入状态空间模型（SSM）的关联算子中，虽然增加了约一个数量级的计算量，但带来了显著的性能收益。
- SDFT：一种基于蒸馏的微调方法，能有效减少模型灾难性遗忘。
- ReQAT：通过精细组合多种技术实现了 4-bit 训练，并带来了大幅度的速度提升。
- Datamixing scaling laws：深入探讨和理解数据混合的缩放规律。
所属事件:微软研究员盘点AI训练与优化前沿研究(2 条相关)→
「研究」频道最新
- LLM评测统计避坑：为何Mann-Whitney U检验不适合处理Likert数据 — IanArawjo · 2026-08-03
- AI 训练翻车：本想生成月牙，却跑偏成了香蕉 — johnowhitaker · 2026-08-03
- 新研究「探索式建模」被指与经典 IMLE 方法高度相似 — dilipkay · 2026-08-03
- 用 Claude 与 Codex 重写生物信息学工具 pydREG — anshulkundaje · 2026-08-03
- 下一代通信革命：5G/6G 网络将无需摄像头实现感知 — mustafamhus · 2026-08-03
- 英伟达 SANA-Video 2.0：单卡 5090 生成 720p 视频 — mmowg · 2026-08-03