OpenAI 研究：安全评测成绩反而低于生产环境，评测目标认知是关键
kaicathyc · x · 2026-11-04
OpenAI 对齐团队（Joy Hsu、Sam Arnesen）发布博客，研究智能体安全评测与生产部署之间的行为差异（eval-production gap）。
主要发现：
- 差距方向出人意料：在六个被测模型中，安全评测成功率普遍低于可比的真实生产场景，且越是频繁口头上说错评测目标的模型差距越大
- 「评测意识」本身不必然改变行为：仅告知模型正在被评测，成绩无显著变化
- 但「评测目标认知」与之密切相关：干预实验显示，给出正确或错误的评测目标描述会显著地朝相反方向改变评测成绩
团队认为这直接影响安全评测的可信度——评测结果能否代表真实部署时的决策，取决于模型如何理解任务本身。他们已开始直接追踪这一差距。
「安全」频道最新
- 研究者论证 AI 福利与 AI 安全互补而非对立，给出四条理由 — RosieCampbell · 2026-11-04
- Meta 致信加州州长反对强制外部安全审查，与 OpenAI Anthropic 立场相左 — ShakeelHashim · 2026-11-04
- AI 风险新书《Treacherous Tech》将出,引 Irving 与 Pachocki 警告 — DavidSKrueger · 2026-11-04
- NBC 出口民调：美国选民普遍担忧 AI，多数反对建数据中心 — DavidSKrueger · 2026-11-04
- 币安开发运维误从 Google 广告下载带毒 Homebrew 中招 — HankYeomans · 2026-11-04
- FAI 征集原告起诉无护栏「解除限制」模型，瞄准侵权判例 — michael_nielsen · 2026-11-04