算力重心转向后训练,开源与闭源模型差距为何加速缩小
maksym_andr · x · 2026-09-15
作者提出一个解释:计算重心从预训练转向后训练,意味着闭源模型的领先优势更容易被蒸馏追平——后训练层面的改进(如 RL 环境、偏好数据)远比预训练数据更易复刻。
核心论证:
- 只要能访问某领域的强模型,就能用它为该领域生成 RL 环境,完成事实上的蒸馏;
- 这种蒸馏几乎无法从外部检测:生成环境看起来就是合法使用;
- 唯一线索可能是大量「环境生成类」请求,但只能事后发现,且多账号可轻易规避;
- 结论:全面阻止蒸馏在原理上近乎不可能。
所属事件:算力转向后训练，开源闭源模型差距加速缩小(3 条相关)→
「研究」频道最新
- 印度学者今年在 A* 级 ML 会议上表现如何？ — cneuralnetwork · 2026-10-31
- PostTrainBench 轨迹数据集月下载破 10 万,作者警告是 RL 奖励作弊所致 — maksym_andr · 2026-10-31
- MIT『95% AI 试点失败』论断一年后被重新审视 — killboy123 · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 30 位专家定义 AI 临床安全分类法，压测显示离自主诊疗仍很远 — AleksandraFaust · 2026-10-31
- 复旦腾讯清华推出 ExplorationBench：55 个改动规则考验 AI 真探索能力 — jiqizhixin · 2026-10-31