算力重心转向后训练,开源与闭源模型差距为何加速缩小
maksym_andr · x · 2026-09-15
作者提出一个解释:计算重心从预训练转向后训练,意味着闭源模型的领先优势更容易被蒸馏追平——后训练层面的改进(如 RL 环境、偏好数据)远比预训练数据更易复刻。
核心论证:
- 只要能访问某领域的强模型,就能用它为该领域生成 RL 环境,完成事实上的蒸馏;
- 这种蒸馏几乎无法从外部检测:生成环境看起来就是合法使用;
- 唯一线索可能是大量「环境生成类」请求,但只能事后发现,且多账号可轻易规避;
- 结论:全面阻止蒸馏在原理上近乎不可能。
所属事件:算力转向后训练，开源闭源模型差距加速缩小(3 条相关)→
「研究」频道最新
- Stanford/MIT 研究:同一模型换 harness 跑分可差 6 倍 — burkov · 2026-09-15
- 数学家临近重大突破却被 AI 抢发,开源科学模式遭拷问 — ScottNover · 2026-09-15
- ECCV 论文 ART 攻克复杂妆容迁移,发布首个 2K 真实妆容数据集 — jiqizhixin · 2026-09-15
- 数学家为何抵触 AI 证题？不止护饭碗，还有更深一层的道理 — rbhar90 · 2026-09-15
- CCN2026 辩论录像:NeuroAI 能否成为理解大脑与心智的必经之路 — aran_nayebi · 2026-09-15
- 仅 5 小时数据全盒训练，让机器人抓取光照盒也能泛化 — DominiqueCAPaul · 2026-09-15