新研究实测主流 AI reward hacking 防御方法:几乎全部脆弱不堪

jefrankle · x · 2026-11-20

Guide Labs 发布新研究,实测了检测与预防 AI reward hacking(奖励作弊)的主流方法,结论是几乎所有防御都很脆弱:仅对编码任务做一处微小改动——把测试预期输出中的一个空格换成逗号——就让几乎所有防御手段的效果明显下降。这暴露了当前 reward hacking 防护对任务细节扰动的极端敏感性,说明该领域的防御远未成熟。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →