算力重心转向后训练，开源与闭源模型差距为何难以守住
maksym_andr · x · 2026-09-15
作者提出：算力重心从预训练转向后训练（post-training），解释了开源权重模型与公开可用的专有模型之间差距的缩小——因为后训练的提升更容易被蒸馏。
核心论证：
- 如果你能在某领域使用一个很强的模型，就可以用它来构建该领域的 RL 环境，从而实现蒸馏式提升
- 这类蒸馏很难从外部检测：生成 RL 环境的请求看起来与正常使用无异
- 可能只有环境类请求的异常大规模集中才会暴露蒸馏行为，但这是事后才能发现的，等发现时环境已大量生成
- 对有决心的组织而言，注册大量账号规避检测并非难事
结论：想在完全普遍的意义上防止蒸馏，几乎不可能。
所属事件:算力转向后训练，开源闭源模型差距加速缩小(3 条相关)→
「模型」频道最新
- 深度估计模型 Marigold-V2 冲上 Hugging Face 热榜 — toshas · 2026-09-15
- Liquid AI 官方提醒:LFM2.5-2.6B 免费但别拿去写代码 — maximelabonne · 2026-09-15
- 用户实测指认：推理商 nahcrof 疑用 tokenizer 不符的模型冒充 Kimi K3 — xeophon · 2026-09-15
- CyberGym 成绩超 85-86% 的模型大概率都是过拟合 — terryyuezhuo · 2026-09-15
- Ethan Mollick 用 GPT 试译线形文字A,自嘲那是 researchslop — emollick · 2026-09-15
- xAI 被指默认用用户数据训练,企业版可关闭 — carlosdponx · 2026-09-15