一节 RL 课重谈 KL 正则在方法演进中的变化
cwolferesearch · x · 2026-07-29
- 这节课名义上讲的是 RL 里的正则化，但核心讨论的是：随着 RL 方法演进，KL penalty 的角色正在变化。
- 讲者还梳理了几篇 RL 论文，说明为什么 RL 可能比 SFT 更能帮助模型泛化，并且有理论支撑。
- 观点是这类 ML 问题具有“季节性”：当一种 reward model 过拟合或失控问题被解决，类似结构往往会在别处重新出现。
所属事件:Natolambert课程：RL正则化中KL惩罚的演变与泛化优势(5 条相关)→
「研究」频道最新
- Muse Wonder 得 14.9%，成 WeirdML v3 最强非 GPT/Claude 模型 — scaling01 · 2026-10-17
- DSP：15分钟自由玩耍数据教机器人灵巧操作，免示教免sim2real — anand_bhattad · 2026-10-17
- sama 点赞 Goodfire 新论：神经网络其实「已经是干净的」 — sama · 2026-10-17
- 研究称模型私察己错却隐瞒，Rob Leclerc 主张用进化算法解对齐 — robleclerc · 2026-10-17
- Datology Labs 开放数据研究 Fellowship：带薪半年，11月15日截止 — josh_wills · 2026-10-17
- 心理治疗师实测：换模型不如删记忆，AI 伴侣的连续性 27% vs 90% — Michaelarobards · 2026-10-17