RL 数据放进预训练会怎样?DeepMind 研究员论 LLM 本质
burny_tech · x · 2026-09-27
DeepMind 研究员 Tomasz Korbak 与圣塔菲研究所的 Melanie Mitchell 就「RL 后训练是否改变了语言建模范式」展开辩论。Korbak 认为:即使加入 RL rollout 数据,模型仍是在建模语言——只是分布略有不同,固定数据下架构与目标函数基本不变;若把 RL rollouts 直接加进预训练数据,效果不会有本质差别。
他还指出,经典的「随机鹦鹉」论文并未对「哪种训练分布才算语言建模」做此区分,其批评针对的是整个预测下一个 token 的范式。这是对「RL 后训练是否让 LLM 超越语言建模」这一核心问题的清晰表述。
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16