开源模型蒸馏争议：为何思维链未能带来同等性能提升？

yacineMTB · x · 2026-08-13

围绕大模型蒸馏的技术细节展开讨论。有人质疑，既然业界普遍认为可以通过思维链和推理轨迹进行模型蒸馏，那为什么其他模型没有获得类似的性能提升？目前互联网上已经充斥着大量由顶级模型生成的开源代码。对此，原讨论者进一步指出，真正的蒸馏可能实际上需要获取模型的 logits（预测概率分布）数据，而不仅仅是文本输出。