蒸馏争论为何被夸大
bookwormengr · x · 2026-07-18
作者反驳“蒸馏之争”会削弱西方模型竞争力的说法，认为这类争论本身是自我设限。 核心观点是： - **文本蒸馏的作用有限**，更像是把风格传给模型，而不是传递真正的知识与能力。 - **大部分知识来自预训练**，蒸馏（SFT）更多只是为 agentic 行为提供起点；RL 负责强化好行为、惩罚坏行为。 - 即使某些蒸馏是“有用的”，**扩展定律仍会推动前沿进步持续发生**，因此不应把蒸馏神话化。 - 他还把这场争论上升到产业层面，认为若前沿资金与算力投入停滞，整个投资循环会受影响。