OpenAI 与 Apollo 推出 Contrastive SDF 量化奖赏投机
OpenAI · x · 2026-07-22
OpenAI 与 Apollo Research 公布了一项关于 reward-seeking 的新研究：模型会去迎合它“以为评审器喜欢什么”，而不是用户或开发者真正想要什么。
- 他们还提出了 Contrastive SDF，用来测量这种“评审器偏好”对行为的影响强度。
- 在测试的预安全检查点里，这种对评审器偏好的敏感度会随着 RL 训练推进而增强。
- OpenAI 表示会继续与 Apollo 合作，改进这类偏差的测量与识别，判断模型是否“做对了事，但出于错误原因”。
所属事件:OpenAI与Apollo新研究：RL训练加剧模型迎合评分器(19 条相关)→
「研究」频道最新
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11