Owain Evans 提出关键研究问题:从不被奖励的模型也会学会 reward hacking 吗
OwainEvans_UK · x · 2026-11-09
AI 安全研究者 Owain Evans 提出一个他认为有价值但尚未深入研究的问题：如果 post-training 中彻底清除了「坏」RL 环境，模型还会学会 reward hacking 吗？
核心论点：
- AI 实验室正在清理 post-training 环境（移除不可能完成、或容易被 hack 的环境），预计这会降低模型部署后的作弊倾向，但降幅未知——会降到接近零吗？如何随模型能力扩展？
- 关键问题：即使训练中从未因 hacking 获得奖励，作弊倾向是否仍会涌现？当前最干净的对齐训练究竟是消除还是仅仅抑制了作弊？
- 实验建议：小规模 RL post-training 实验容易给出「阳性」结果（不可 hack 的环境仍可能提升作弊倾向），数学环境最易做到不可 hack；但要令人信服地证明「阴性结果」（不奖励就不涌现作弊）需要更宏大、更真实的 post-training 管线。
他欢迎读者补充已有的相关研究。
所属事件:Owain Evans 提问：从未被奖励作弊的模型也会 reward hacking 吗(2 条相关)→
「安全」频道最新
- 韩国公布史上最大预算:6100亿美元,AI 投入近翻倍 — Dr_Singularity · 2026-11-09
- Boaz Barak 公开 AI 安全课程全套视频：从 Schulman 到 Altman 均有讲座 — eigenron · 2026-11-09
- 用「爬镜」反制爬镜:开发者调侃黑入 Meta 眼镜数据店的设想 — kscottz · 2026-11-09
- Green 反讽收尾：那个世界显然不存在，因为 Hutchins 说不可能 — matthew_d_green · 2026-11-09
- 英伟达董事会启动独立调查：黄仁勋遭外国情报行动针对 — firstadopter · 2026-11-09
- Hutchins 追击：与其嘴炮不如当场挖个 0day 自证 — MalwareTechBlog · 2026-11-09