研究揭示 LLM 在线蒸馏的泛化双重性

IQuestLab · hf · 2026-08-24

该研究探讨了大模型在线策略蒸馏的泛化机制。发现蒸馏主要转移推理行为而非具体答案，且泛化能力高度依赖于师生模型的来源对齐；同时，使用多教师组合会导致模型能力的权衡。

原文链接 →

「研究」频道最新

• SMPLOlympics：RL 算法训练 10 余种人形运动 — zhengyiluo · 2026-08-24
• 机器学习模拟推断综述论文发布 — RexDouglass · 2026-08-24
• Yoav Goldberg：论文无需披露 AI 使用细节 — yoavgo · 2026-08-24
• AAAI 2027 承认评审过程存在串谋互评现象 — Fragrant_Fan_6751 · 2026-08-24
• 新模型 T7 Promoter 准确预测转录率 — anshulkundaje · 2026-08-24
• 研究称统计学习或为所有认知系统的涌现属性 — abenitezburraco · 2026-08-24

更多「研究」频道 AI 资讯 →