提出扩散大模型自蒸馏新范式
机器之心 · wechat · 2026-07-09
这篇由马普所、清华等机构完成的工作提出了 d-OPSD，用于扩散大语言模型的 on-policy self-distillation。 文章称，d-OPSD 不再依赖参考解或额外教师模型，而是让学生先在线采样，再把学生轨迹作为特权信息反馈给教师；实验显示，它在多个数学推理基准上可用更少训练步数达到或超过 RL 效果。
所属事件:扩散大语言模型自蒸馏新范式dOPSD提出(2 条相关)→
「研究」频道最新
- 把数据集打包成顺序 blob，训练吞吐提升 30% — irinarish · 2026-07-21
- UIUC 提出 AgentPrimitives：多智能体的可复用潜在积木 — 机器之心 · 2026-07-21
- 一个 C++20 CPU 原生 strict-W1 训练 runtime 寻求反馈 — Wonderful-Income7415 · 2026-07-21
- 微软提出像训练神经网络一样训练 agent 技能 — Saboo_Shubham_ · 2026-07-21
- 研究者：AI 应是放大器，而不是放弃科研的理由 — omarsar0 · 2026-07-21
- 海森矩阵入门：二阶导数如何影响神经网络优化 — burny_tech · 2026-07-21