大模型 RL 蒸馏小模型的隐忧:能力校准缺失致过度自信
willcb · x · 2026-10-05
willcb 指出「大模型 RL 训练后直接蒸馏到小模型」这一常见范式的一个结构性问题：
- 通用型小模型蒸馏后若不针对校准做后续 RL，模型对自身能力的认知必然失准——表现得过度自信，且不会在必要时调用足够的推理。
- 原因在于大模型 RL 中「知道自己什么时候不行」这种元认知并未随答案模式一起被蒸馏传递，小模型缺乏与自身真实能力对齐的信号。
结论：蒸馏不应是终点，小模型需要补充 RL 来重新校准自身能力边界。
「模型」频道最新
- 大规模实测对比：Jev 在消费级文本分析上以更低成本胜出 — ivan_bezdomny · 2026-10-05
- AI 圈争论：刷榜模型与真正重视可靠性的模型有本质差距 — cephaloform · 2026-10-05
- 研究者吐槽：新模型写作风格反复倒退，一致性格外难做 — DimitrisPapail · 2026-10-05
- 博主批评谷歌模型分层掉队:3.8 Flash 与 3.1 Pro 远逊 Claude Sonnet 5 — haider1 · 2026-10-05
- 资深制作人批 Suno:过拟合数据集，能力不进反退 — teropa · 2026-10-05
- 对比 GPT-6 Luna 与 Haiku 4.5 定价:Anthropic 缺一个超低价小模型 — Balance- · 2026-10-05