总结版 CoT 微调是否有效
wombweed · reddit · 2026-07-13
帖子在质疑一种训练思路：为什么有人会拿“总结过、被审查过”的 SOTA CoT traces 做微调。 核心疑问包括： - 蒸馏/微调是否真的能“魔法般”让输出超过基座模型能力； - Anthropic 模型吐出的 reasoning traces，和模型内部真实的思维链是否并不一致； - 如果训练数据只是被整理后的表层推理，那么用它去微调，结果是否反而更差。 这是一个围绕 CoT 蒸馏、推理轨迹真实性和训练数据质量的研究型讨论。