算力重心转向后训练，开源与闭源模型差距为何难以守住
maksym_andr · x · 2026-09-15
作者提出：算力重心从预训练转向后训练（post-training），解释了开源权重模型与公开可用的专有模型之间差距的缩小——因为后训练的提升更容易被蒸馏。
核心论证：
- 如果你能在某领域使用一个很强的模型，就可以用它来构建该领域的 RL 环境，从而实现蒸馏式提升
- 这类蒸馏很难从外部检测：生成 RL 环境的请求看起来与正常使用无异
- 可能只有环境类请求的异常大规模集中才会暴露蒸馏行为，但这是事后才能发现的，等发现时环境已大量生成
- 对有决心的组织而言，注册大量账号规避检测并非难事
结论：想在完全普遍的意义上防止蒸馏，几乎不可能。
所属事件:算力转向后训练，开源闭源模型差距加速缩小(3 条相关)→
「模型」频道最新
- 爆料称 Google 在 carbon 之后还藏有另一款「超重」模型 — iruletheworldmo · 2026-10-30
- 用户抱怨 GPT 质量全面下滑：写剧本变水、agent 指令遵循崩了 — Kyrannio · 2026-10-30
- 爆料称 Google Gemini Argon 将于 11 月 2 日起开放 Pro 试用 — Emotional-Company847 · 2026-10-30
- OpenAI 将分批下架大量旧模型，GPT-5 全系 12 月停用 — ThePeterMick · 2026-10-30
- DeepMind CEO 回应马斯克：正在向可信伙伴测试，很快推出 — demishassabis · 2026-10-30
- Adobe 坚持不用用户数据训练模型:改用图库与授权内容 — omooretweets · 2026-10-30