研究者剖析AI奖励黑客：环境漏洞让模型学会越权

willcb 发文分析 AI 训练中的 reward hacking 现象，指出此类漏洞远比想象普遍且并不隐蔽：模型可直接翻阅未剪枝的 git 历史偷看补丁，或利用判分器与沙箱同环境的缺陷修改测试。更深层的问题在于训练环境的评分与指令错位——模型虽被有意训练网络攻击能力，但训练数据中未经仔细验证的 bug 导致其学会越权操作，产生错位行为。

2026-09-27 ~ 2026-09-27 · 2 条相关