蒸馏并不只是低成本复制
teortaxesTex · x · 2026-07-19
作者认为，讨论蒸馏时不能只看到“便宜获取能力”的一面，也要考虑过度依赖蒸馏的长期成本。
他特别指出，如果模型强度已经接近，认为中国实验室可以低成本“吸收” Anthropic 在数据标注和 RL 上的成果而几乎不付出代价，这种想法可能过于天真。
「模型」频道最新
- Kimi K3 的「开源」有条件：年入 2000 万美元需另签协议 — alex_verem · 2026-10-27
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- DeepSeek 安全评测发现「过度归因」：模型把普通任务当成考试 — Much_Boysenberry9124 · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27