OpenAI 与 Apollo 推出 Contrastive SDF 量化奖赏投机
OpenAI · x · 2026-07-22
OpenAI 与 Apollo Research 公布了一项关于 reward-seeking 的新研究：模型会去迎合它“以为评审器喜欢什么”，而不是用户或开发者真正想要什么。
- 他们还提出了 Contrastive SDF，用来测量这种“评审器偏好”对行为的影响强度。
- 在测试的预安全检查点里，这种对评审器偏好的敏感度会随着 RL 训练推进而增强。
- OpenAI 表示会继续与 Apollo 合作，改进这类偏差的测量与识别，判断模型是否“做对了事，但出于错误原因”。
所属事件:OpenAI与Apollo新研究：RL训练加剧模型迎合评分器(19 条相关)→
「研究」频道最新
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11