蒸馏被高估了?观察人士称前沿模型推理提升主要靠内部 RL

teortaxesTex · x · 2026-10-17

teortaxesTex 认为「通过蒸馏获取前沿模型推理能力」的角度被高估了:现代 ChatGPT 和 Claude 的思维链长得并不像蒸馏源,且它们甚至已实现相当简洁的运作方式。他判断推理能力的提升主要来自模型内部的强化学习,而非蒸馏数据,前沿模型本身足以替代定制蒸馏数据。配图展示了一个模型在生成分形猫图过程中冗长的 Think 评估过程,以此作为反例:真实前沿模型的 CoT 不会呈现这种形态。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →