OpenAI 博客数据显示:中等推理档位下隐藏 CoT 对蒸馏影响不大
adam_karvonen · x · 2026-11-22
研究者 Adam Karvonen 分析 OpenAI 的反蒸馏博客数据后指出,隐藏思维链(CoT)对蒸馏的防护作用可能被高估了。
- 配图(SEC-bench Pro)显示:只有在高推理预算/高 reasoning effort 下,使用完整推理轨迹(exact reasoning traces)蒸馏的模型才明显优于用推理摘要(reasoning summaries)蒸馏的模型
- 而大多数用户实际使用的是 medium 档(Codex 和 Claude Code 的默认设置),在这个区间两条曲线几乎重合
- 也就是说,在主流使用场景下,「隐藏 CoT 防蒸馏」的实际收益很小
「模型」频道最新
- 研究者质疑:OpenAI 中等推理档无法防蒸馏,防了也没用 — adam_karvonen · 2026-11-22
- 9B 模型跑出 59 tok/s:SenseNova-Loop-9B 在 16GB 显卡实测 — AIFlow_ML · 2026-11-22
- Anthropic 15亿美元版权和解未付款,被索赔每本书涨到2万 — TuhinChakr · 2026-11-22
- 16-32GB 内存能跑的本地模型,2025 年底追平闭源 SOTA 了吗 — AnimalPuzzleheaded71 · 2026-11-22
- 英伟达研究称超长上下文是死路,摘要+关键词检索更省钱 — The Decoder · 2026-11-22
- Thinking Machines 开源 Inkling-2-Mini 出现无审查 GGUF 版本 — AtomicChat · 2026-11-22