研究称 Kimi K3 未现推理蒸馏痕迹，或仅存数据污染

bookwormengr · x · 2026-08-12

近期有研究对 Kimi K3 模型的“蒸馏”传言进行了分析。作者指出，该论文并未能确证蒸馏理论，充其量只提供了数据污染的证据（因为测试集 HLE 过于知名）。

此外，研究发现 Kimi K3 的推理过程并未表现出明显的蒸馏迹象。理论上需要尝试数千万次才能匹配到特定的 token。这引发了一个逻辑悖论：如果真要进行蒸馏，为何只“偷”最终答案而不学习推理过程？不过，也有其他研究者通过预填充实验发现，Claude 和 GPT 的部分推理片段从 Kimi K3 中提取的难度，比从其他模型中低约 6 个数量级。