蒸馏被高估了?观察人士称前沿模型推理提升主要靠内部 RL
teortaxesTex · x · 2026-10-17
teortaxesTex 认为「通过蒸馏获取前沿模型推理能力」的角度被高估了:现代 ChatGPT 和 Claude 的思维链长得并不像蒸馏源,且它们甚至已实现相当简洁的运作方式。他判断推理能力的提升主要来自模型内部的强化学习,而非蒸馏数据,前沿模型本身足以替代定制蒸馏数据。配图展示了一个模型在生成分形猫图过程中冗长的 Think 评估过程,以此作为反例:真实前沿模型的 CoT 不会呈现这种形态。
「模型」频道最新
- DeepSeek发布V4.1-Flash-1017:性能成本帕累托改进,实测动效逼近Claude — AlchainHust · 2026-10-17
- 「鲸鱼没蒸馏 Sol」:DeepSeek-V4.1-Flash 对比图引玩梗 — cedric_chee · 2026-10-17
- 四大模型同题比拼 3D 体素小岛:Gemini 3 的美术公认最能打 — cedric_chee · 2026-10-17
- DeepSeek 连续 4 个月高频发版,分析师称慢节奏厂商将失溢价 — zephyr_z9 · 2026-10-17
- Claude Opus 5.5 把 Bloodborne 移植到 PC:60 FPS 实机画面流出 — zephyr_z9 · 2026-10-17
- DeepSeek V4.1F-1017 实测对比 V4.1:速度明显更快 — teortaxesTex · 2026-10-17