探讨同级模型间的Peer蒸馏与后训练效果
社区内探讨了同级模型间的蒸馏问题。作者指出，现有文献多集中于“强教师到弱学生”的蒸馏，而他更想比较两个性能接近的预训练模型在进行后训练后，利用 rollout 进行互相蒸馏能达到何种性能表现。这为模型训练优化提供了新的思考方向。
2026-07-18 ~ 2026-07-18 · 2 条相关
- 同级模型蒸馏效果如何 — maxsloef · 2026-07-18
- 想比较 peer 蒸馏与后训练 — maxsloef · 2026-07-18
社区内探讨了同级模型间的蒸馏问题。作者指出，现有文献多集中于“强教师到弱学生”的蒸馏，而他更想比较两个性能接近的预训练模型在进行后训练后，利用 rollout 进行互相蒸馏能达到何种性能表现。这为模型训练优化提供了新的思考方向。
2026-07-18 ~ 2026-07-18 · 2 条相关