蒸馏与多模型训练加速思考
_arohan_ · x · 2026-07-12
作者说自己一直在尝试把 **N 个模型** 训练到接近 **N 倍加速** 的效果，并提出了几个关键问题： - 为什么蒸馏会带来收益损失？ - 如何在网络之间传递更多“可辨识”的信息？ - 如何让每个网络既能匹配别人的输出，又保留自己的判断？ 这是在围绕多模型训练与蒸馏效率做的研究思考。
_arohan_ · x · 2026-07-12
作者说自己一直在尝试把 **N 个模型** 训练到接近 **N 倍加速** 的效果，并提出了几个关键问题： - 为什么蒸馏会带来收益损失？ - 如何在网络之间传递更多“可辨识”的信息？ - 如何让每个网络既能匹配别人的输出，又保留自己的判断？ 这是在围绕多模型训练与蒸馏效率做的研究思考。