蒸馏未必补得上深度推理

willccbb · x · 2026-07-11

作者不认同“Sonnet 5 只要从更深的模型蒸馏就会很强”这种说法。他的核心观点是：更深的模型本来就能用更少 token 完成推理；如果让 Sonnet 去模仿这种模式，反而可能学到“跳过内部步骤”的表层行为，导致推理时卡顿或幻觉增多。