蒸馏并不只是低成本复制
teortaxesTex · x · 2026-07-19
作者认为，讨论蒸馏时不能只看到“便宜获取能力”的一面，也要考虑过度依赖蒸馏的长期成本。
他特别指出，如果模型强度已经接近，认为中国实验室可以低成本“吸收” Anthropic 在数据标注和 RL 上的成果而几乎不付出代价，这种想法可能过于天真。
「模型」频道最新
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- RTX 3060 全本地语音助手复刻 GPT Live 官方演示，6 分钟跑完全程 — liampetti · 2026-09-11
- 曝 Meta Muse Agent 内置邀请码逻辑,或携额外免费额度上线 — testingcatalog · 2026-09-11