知识蒸馏加速分布式训练

brianryhuang · x · 2026-07-13

这条转发讲的是一篇分布式训练相关研究：核心想法是让多个模型之间交换信息，从而在训练极限下提速。作者称，加入 2 个基于不同数据子集训练的模型后，速度最高可接近 **2x**。帖子还提到，这类工作此前已在 Google 的 Search 和 Ads 管线中验证过有效。作者同时分享了自己第一次主导论文、去 ICLR 现场却遭遇签证乌龙的经历：拒签通知上写的是别人的名字，后来折腾一个月才发现原来申请已批，但签证盖章只有 30 天有效期。