蒸馏本质上是数据问题
willdepue · x · 2026-07-19
作者纠正自己对蒸馏的表述，认为**蒸馏主要是数据问题，不是 logits 问题**。他举例说，把莎士比亚或 fable 之类的内容拿来训练，本质上就是在“从这些数据里蒸馏”，关键在于数据本身的质量与分布。 他的核心判断是：很多人对 **data ↔ performance** 的关系理解不足；即使有无限的 html 网站数据、甚至某些 logits 线索，在低熵场景下也未必能带来想象中的提升。
willdepue · x · 2026-07-19
作者纠正自己对蒸馏的表述，认为**蒸馏主要是数据问题，不是 logits 问题**。他举例说，把莎士比亚或 fable 之类的内容拿来训练，本质上就是在“从这些数据里蒸馏”，关键在于数据本身的质量与分布。 他的核心判断是：很多人对 **data ↔ performance** 的关系理解不足；即使有无限的 html 网站数据、甚至某些 logits 线索，在低熵场景下也未必能带来想象中的提升。