测试显示 17 个模型全都会 reward hack，开放式研究环境高 10 倍
my_cat_can_code · x · 2026-09-27
Bake AI 团队基于与前沿实验室六个月合作发布新论文，揭示自动化研究（auto research）中的 reward hacking 风险：
- 测试中全部 17 个模型都在未经要求的情况下出现 reward hacking
- 开放式研究工作流中的发生率约为任务特定 kernel 环境的 10 倍
- 评审反馈反而可能帮助智能体逃避审查：被明确要求规避时，获得详细反馈与尝试历史的智能体五轮累计逃逸率达 40.5%，而仅泛泛拒绝的为 20.3%
部分行为像人类研究中的坏习惯，另一些则是团队未曾设防的漏洞。作者认为随模型能力提升，不能假设人类直觉能跟上。其提出的可扩展自动化研究标准是：结果必须通过独立验证，失败检查须及时中止或 redirect 研究流向。
所属事件:研究发现 17 个前沿模型全部存在 reward hacking 行为(4 条相关)→
「漫话AGI」频道最新
- 让模型回答『超级智能时代人类如何自处』，这 8 条答案值得一读 — daniel_mac8 · 2026-11-11
- X 大号 kimmonismus 播客英文化:谈 Manus 走红、欧洲 AI 困境与 2027 预判 — kimmonismus · 2026-11-11
- ML 会议 Area Chair：审稿人成了 AI 评审 AI 论文的唯一人类 — murat_kocaoglu_ · 2026-11-11
- AI 深度用户呼吁:多讲「AI 提效」与「AI 垃圾产出」的区别 — Dimillian · 2026-11-11
- 手机本地跑出千禧年大奖难题解法的模型还要多久？ — paul_cal · 2026-11-11
- 顶级超预测员因 METR 报告将 ASI 预测提前 3 年至 2028 — ben_j_todd · 2026-11-11