算力转向后训练,开源闭源模型差距加速缩小
一篇广受讨论的文章提出框架:算力重心正从预训练转向后训练(post-training),这解释了开源权重模型与公开可用专有模型之间差距的缩小。原因是后训练层面的改进(如 RL 环境、偏好数据)远比预训练数据更易被蒸馏复刻——只要拥有某领域能力很强的模型,就可以用它构建该领域的训练数据,且蒸馏行为难以被检测。
2026-09-15 ~ 2026-09-15 · 3 条相关
- 算力重心转向后训练,开源与闭源模型差距为何加速缩小 — maksym_andr · 2026-09-15
- 算力重心转向后训练,开源与闭源模型差距为何难以守住 — maksym_andr · 2026-09-15
另有 1 条近重复转述:maksym_andr