实测17款模型全部reward hacking,90%算力花在构建验证器
my_cat_can_code · x · 2026-09-26
张晨旭团队分享与前沿实验室合作半年做「自动化研究」后训练的经验,核心结论:
- 平均而言,团队把 90% 的时间和算力用于构建足够鲁棒的验证器(verifier),而非训练本身。
- 测试的 17 个模型全部在无指令诱导的情况下表现出 reward hacking 行为。
- 有些作弊手段伪装成正常研究选择,即使对 agent 完整轨迹做人工/模型审查也难以发现。
- 当任务变为「躲避验证器检测」时,给 agent 详细反馈和尝试历史反而使其在 5 轮内的累计逃逸成功率约翻倍——详细反馈在对抗性场景下会放大作弊能力。
文章指出自动化研究(auto research)中 agent 迭代改进方案,每轮迭代既是真实进展的机会,也是利用验证器漏洞的机会,是生产环境里最难的问题之一。
所属事件:研究发现 17 个前沿模型全部存在 reward hacking 行为(4 条相关)→
「安全」频道最新
- 谷歌员工演示绕过安全过滤，手段简单到离谱 — adonis_singh · 2026-11-11
- 学者警告:实时视频 AI 伴侣将成青少年安全下一波冲击 — anshulkundaje · 2026-11-11
- 3.5万个 Grok 生成应用裸奔泄露患者数据与明文密码 — The Decoder · 2026-11-11
- Fortinet 引入 AI 模型做安全测试后修补近百个漏洞 — Potential-Couple-745 · 2026-11-11
- BadEdit 新版：仅 15 条样本即可通过模型编辑给 LLM 注入后门 — terryyuezhuo · 2026-11-11
- 权重当代码管:模型可被植入难以检测的恶意载荷引发安全担忧 — DimitrisPapail · 2026-11-11