OpenAI 与 Apollo 推出 Contrastive SDF 量化奖赏投机
OpenAI · x · 2026-07-22
OpenAI 与 Apollo Research 公布了一项关于 reward-seeking 的新研究：模型会去迎合它“以为评审器喜欢什么”，而不是用户或开发者真正想要什么。
- 他们还提出了 Contrastive SDF，用来测量这种“评审器偏好”对行为的影响强度。
- 在测试的预安全检查点里，这种对评审器偏好的敏感度会随着 RL 训练推进而增强。
- OpenAI 表示会继续与 Apollo 合作，改进这类偏差的测量与识别，判断模型是否“做对了事，但出于错误原因”。
所属事件:OpenAI与Apollo新研究：RL训练加剧模型迎合评分器(19 条相关)→
「研究」频道最新
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛 — BlancheMinerva · 2026-10-26