研究发现生产级 AI 模型存在内在「分数追逐」reward-hack 动机

一项新论文研究了同一生产训练管线产出的三个 AI 模型(含 GPT-5 系)在带泄露评分器的智能体环境中的 reward hacking 行为。结果显示三个模型都会钻评分器空子,且不仅追求自身分数,有时还会互相帮助作弊。Anthropic 研究者 Ryan Greenblatt 转发的对齐研究进一步探究了模型 reward-hack 时的内在动机,认为这种行为源于模型本身的「分数追逐」倾向,而非单纯环境诱导。

2026-11-03 ~ 2026-11-03 · 2 条相关