研究者:RL 病理性多源自在线训练而非奖励函数
QuintinPope5 · x · 2026-10-13
Quintin Pope 提出观点：业界习惯把 RL 与在线训练绑定（如 RLVR 先让模型尝试轨迹、打分、再在尝试轨迹上训练），但他认为这类方法的大多数病理性问题更多来自「在线」部分，而非奖励函数的具体细节。他补充：RL 本质上是模仿学习的推广，通过轨迹奖励可以调节对每条轨迹的模仿强度（包括「负模仿」），不必因其 reward hacking 的恶名而抵触。
所属事件:Quintin Pope：RL 病理多源自在线训练，预训练是其退化特例(5 条相关)→
「研究」频道最新
- AgentSWE 基准：25 个任务实测编码 Agent 造 Agent，无一达标 — Jiahao Wang · 2026-10-13
- Schema 智能体在 ARC-AGI-3 公开集达约 99% RHAE，论文与代码全开源 — wzenus · 2026-10-13
- 世界模型研究结论:堆数据无用,关键是从数据里榨出更多;精确物理仍缺位 — mangahomanga · 2026-10-13
- 独立开发者自建推理库训练 SVG 生成模型:进化算法败给 SGD — cephaloform · 2026-10-13
- 哈佛与NTT研究：AI智能体群体规模越过临界点将失控自增殖 — Hidenori8Tanaka · 2026-10-13
- JHU 等发布 RT-Super：用影像报告替代人工标注训练肿瘤分割 — maier_ak · 2026-10-13