蒸馏并不只是低成本复制
teortaxesTex · x · 2026-07-19
作者认为，讨论蒸馏时不能只看到“便宜获取能力”的一面，也要考虑过度依赖蒸馏的长期成本。 他特别指出，如果模型强度已经接近，认为中国实验室可以低成本“吸收” Anthropic 在数据标注和 RL 上的成果而几乎不付出代价，这种想法可能过于天真。
teortaxesTex · x · 2026-07-19
作者认为，讨论蒸馏时不能只看到“便宜获取能力”的一面，也要考虑过度依赖蒸馏的长期成本。 他特别指出，如果模型强度已经接近，认为中国实验室可以低成本“吸收” Anthropic 在数据标注和 RL 上的成果而几乎不付出代价，这种想法可能过于天真。