RL 后训练研究:模型学什么取决于基座先验概率
QuintinPope5 · x · 2026-09-28
Quintin Pope 提出 P(RL 学到某行为) ∝ P(基座策略本来就有该行为的概率),并引用 arXiv 论文《Demystifying Reinforcement Learning Post-Training of Language Models》佐证。由此推论:让环境作弊更难,不只是"让作弊更隐蔽",而是直接降低作弊行为在先验下的概率、降低其可学习性。
该论文(Ai2 等机构)在受控环境中拆解 RLVR 后训练机制,关键发现包括:
- RL 后训练的成败取决于基座模型是否已对目标行为分配了足够的概率质量
- 以策略输出分布的熵为透镜,比较预训练、SFT 与 RL 各阶段如何塑造模型确定性
- 所谓"虚假奖励"的效果依赖于后训练所用的 prompt 分布
所属事件:模型默认对齐是否失效:RL扭曲心智还是数据埋雷(9 条相关)→
「漫话AGI」频道最新
- 重读马尔萨斯 1798 年预言:富人不婚不育与晚婚搁浅两百年未变 — SydSteyerhart · 2026-11-16
- Runway CEO 预测:全 AI 生成的文化现象级作品 2027 年前出现 — c_valenzuelab · 2026-11-16
- Reddit 热议:AI 能力曲线真是 S 型吗?天花板在哪没人说得清 — Successful-War-9050 · 2026-11-16
- 「一切贵 5% 却好 10% 的按钮并不存在」:劣化换低价已成行业常态 — eigenrobot · 2026-11-16
- 网友吐槽:有效利他主义并非草根运动,而是高度自上而下的层级组织 — ctjlewis · 2026-11-16
- 律师抱怨:AI 让当事人预期失真、引用假判例、动辄质疑律师 — hoofnagle · 2026-11-16