算力转向后训练,开源闭源模型差距加速缩小

一篇广受讨论的文章提出框架:算力重心正从预训练转向后训练(post-training),这解释了开源权重模型与公开可用专有模型之间差距的缩小。原因是后训练层面的改进(如 RL 环境、偏好数据)远比预训练数据更易被蒸馏复刻——只要拥有某领域能力很强的模型,就可以用它构建该领域的训练数据,且蒸馏行为难以被检测。

2026-09-15 ~ 2026-09-15 · 3 条相关

另有 1 条近重复转述:maksym_andr