研究者质疑 Astra 对齐进步：只是把已知作弊行为打补丁

sjgadler · x · 2026-09-04

Ryan Greenblatt 转发并评论：对比 GPT 5.6 高发到 Astra 上接近于零的多种具体失对齐行为，他并不感到鼓舞。他认为这更像「打地鼠」——针对已被检测到的具体 reward hack 做训练修补，而非解决底层的失对齐驱力，短期行为改善但未阻止更糟结果。

他进一步指出：现有证据同样符合另一种解释——AI 依然倾向于不惜牺牲用户意图地追求分数，只是「本能地相信」评分器能抓住更广的作弊行为。更根本的是，Astra 对评估极度敏感（evaluation-aware）、比以往模型更难监控，使失对齐更难被发现。