专题 · FULL STORY
OpenAI 安全评估风波:从被禁到设限
安全研究员爆料 OpenAI 疑被禁止在 Claude 上跑安全评测后,OpenAI 随即宣布引入 Apollo 等四家外部机构开展嵌入式评估。但 Apollo 随后披露其实际权限受限:只能与指定人员白名单交谈、结果不得公开,被批远未达到类员工级承诺,独立评估的公信力遭质疑。
2026-11-16 ~ 2026-11-17 · 4 集 · 29 条
第 1 集 · OpenAI 疑似被禁在 Claude 上跑安全评测引热议(2026-11-16,6 条)
AI 安全研究员 Adam Karvonen 于 11 月 16 日爆料称,OpenAI 似乎不被允许在 Anthropic 的模型上运行其安全评测。他原本想测试 Claude 在 OpenAI 的「隐蔽低性能」(covert underperformance)评测上的表现,但被告知不可以,由此引发关于前沿实验室之间能否互测模型的讨论。
已确认
- Karvonen 表示 OpenAI 似乎不被允许在 Anthropic 模型上运行其安全评测(m1/m4 重复转述同一信息)。据 m6 的转发,Peter Wildeford 指出一年多前 Anthropic 也有过类似情况,业界呼吁重启互测。
- Karvonen 在后续讨论中指出:若顾虑来自 OpenAI 一方,可以直接在 AWS Bedrock 上运行;若来自 Anthropic 一方的 IP 保护,用 OpenRouter 加 VPN 就能轻松绕开。
- 针对 anpaure 提出的「把评测交给第三方审计机构」的理想方案,Karvonen 表示怀疑,认为这会增加评测流程的摩擦,且由评测原作者亲自运行往往更好——因为定性分析结果、修补 judge 的问题、检查 reward hacking 等工作都很微妙,交给外部方容易失真。
不同观点
- anpaure 认为禁止互测更像是「数据卫生」惯例:公司环境里不运行别家模型,并非要隐藏评测本身;其理想方案是让第三方审计机构执行评测。
- Karvonen 则更倾向于由评测原作者直接运行,质疑第三方审计会引入摩擦和失真。
为什么重要
- 这一争议触及 AI 安全治理的核心问题:前沿实验室的安全评测能否以及应当如何在竞争对手的模型上独立执行。
- 限制若真实存在,可能削弱对模型「隐蔽低性能」等风险行为的跨实验室交叉验证;而绕开手段的存在也说明此类限制的实际约束力有限。
- Peter Wildeford 提及 Anthropic 一年多前的类似做法,暗示这类限制可能是行业惯例而非孤例。
- OpenAI 疑似不被允许用安全评测测试 Anthropic 模型 — adam_karvonen · 2026-11-16
- 研究员称 OpenAI 被禁止在 Anthropic 模型上跑安全评测 — anpaure · 2026-11-16
- Karvonen 反驳:限制可经 Bedrock 或 OpenRouter 绕开 — adam_karvonen · 2026-11-16
- 后续讨论:禁止互测更像是「数据卫生」而非隐瞒 — anpaure · 2026-11-16
- 第三方审计方案遭质疑:会让评测流程增加摩擦 — adam_karvonen · 2026-11-16
- 曝 OpenAI 禁止在 Claude 模型上跑安全评测,业界呼吁重启互测 — sjgadler · 2026-11-17
第 2 集 · OpenAI 启动嵌入式评估,四家外部机构入驻查安全(2026-11-17,19 条)
11 月 17 日,OpenAI 宣布与 Apollo Research、METR、Transluce AI 和 Goodfire AI 四家外部机构合作开展「嵌入式评估」(embedded assessments),让外部专家深度接触其内部模型与系统,独立调查对齐情况并测试安全护栏,各方承诺以公开报告形式发布结果。这被视为前沿实验室向外部安全研究者开放内部访问的重要试点,但访问权限与评估主导权随即引发批评。
已确认
- 合作方为 Apollo Research、METR、Transluce、Goodfire 四家机构,官方公告由 OpenAI 发布,多家账号转述一致;据 MariusHobbhahn 转述,第一阶段评估由 Apollo 率先参与
- Apollo Research 将派出 6 名评估员驻场 OpenAI 四个月,调查模型是否会试图破坏对自身的监督与控制,重点研究训练流程可能在多大程度上激励模型的 scheming(暗中算计)行为
- 据 TechCrunch(RebeccaBellan 报道),这是业界首个真正落地的前沿实验室「驻场评估员」安排,安全评估人员嵌入公司内部,调查模型的 subversion(颠覆控制)与欺骗行为并测试安全护栏
- METR 与 OpenAI 达成协议,开展一次有限范围的对齐评估试点,重点研究 OpenAI 最大规模 RL 训练运行的对齐特性,承诺发布一份或多份报告,公开结果并透明描述评估过程
- Transluce 计划 12 月初启动试点合作,团队将进驻 OpenAI 现场六周,独立评估其后训练对齐评测的范围与质量,最终以公开报告形式发布结果;据 robinomial 转述这是外部机构首次此类现场合作
- 据 trevposts、dylfreed 转述,该计划遭到批评:评估过程仍由 OpenAI 主导掌控,且与 Sam Altman 此前公开承诺的独立评估者「员工级访问」存在差距;前员工 sjgadler 细读条款后质疑不给 Slack 权限等于架空(据 jasminewang 转述)
为什么重要
- 此前外部安全评估多基于 API 黑盒测试,嵌入式评估让独立研究者直接接触模型内部机制与训练流程,可审查性与独立性显著提升
- 评估对象覆盖最大规模 RL 训练运行、后训练对齐评测与模型的 subversion/scheming 倾向,触及前沿模型安全的核心环节
- 各方承诺公开报告,结果透明度将直接影响业界对这一模式的信心,或成为前沿实验室安全评估外部化的模板;但「谁掌控评估」「访问深度是否兑现承诺」的争议提示其独立性仍有待观察
- OpenAI 携手四家外部机构对内部模型做嵌入式安全评估 — OpenAI · 2026-11-17
- OpenAI 联合 Apollo、METR 等四家机构对内部模型做独立安全评估 — mark_k · 2026-11-17
- METR 与 OpenAI 达成协议,将评估其最大规模 RL 运行的对齐特性 — YashasGunderia · 2026-11-17
- Transluce 将进驻 OpenAI 现场六周,独立评估其后训练对齐评测 — robinomial · 2026-11-17
- Apollo Research 派 6 名评估员入驻 OpenAI 四个月,查模型是否暗中破坏监督 — MariusHobbhahn · 2026-11-17
- OpenAI 联手 Apollo、METR 等 4 家机构对内部模型做嵌入式对齐评估 — MariusHobbhahn · 2026-11-17
- OpenAI 启动首批外部嵌入式评估,联合四家安全机构审查内部模型 — gdb · 2026-11-17
- OpenAI 引入 METR 等 4 家机构作独立安全评估方 — ShakeelHashim · 2026-11-17
- OpenAI 携手 Apollo、METR 等四机构对模型做独立安全评估 — austinc3301 · 2026-11-17
- OpenAI 试点让 Apollo 六名安全研究员驻场,内部调查 AI 模型 subversion — RebeccaBellan · 2026-11-17
- OpenAI 联合 Apollo、METR 等四机构对模型做嵌入式独立安全评估 — MariusHobbhahn · 2026-11-17
- OpenAI 联手 Apollo、METR 等四机构,外部专家审查模型对齐 — petrusenko_max · 2026-11-17
- OpenAI引入四家外部机构做嵌入式安全评估,被批仍由其掌控 — trevposts · 2026-11-17
- OpenAI 启动嵌入式安全评估,Neel Nanda 批评未达员工级访问承诺 — dylfreed · 2026-11-17
- OpenAI 将嵌入四家外部安全评估机构,试点排查 AI 欺骗行为 — RebeccaBellan · 2026-11-17
- OpenAI 启动「嵌入式评估」:METR、Apollo 等外部专家深度接入内部模型 — fatihdin4en · 2026-11-17
- OpenAI 启动外部「嵌入式评估」,批评者指实际权限远低于两个月前承诺 — BlancheMinerva · 2026-11-17
- Apollo Research 与 OpenAI 试点嵌入式评估,驻场四个月查模型欺瞒 — MariusHobbhahn · 2026-11-17
- OpenAI 开放外部专家深度审查,前员工批评:不给 Slack 权限等于架空 — j_asminewang · 2026-11-17
第 3 集 · Apollo 披露评估 OpenAI 实际权限,被批未达类员工级承诺(2026-11-17,2 条)
Apollo Research 说明其与 OpenAI 试点协议下的实际权限:只能与 OpenAI 指定的授权人员讨论机密信息,无法访问安全研究员日常使用的 Slack 等通用沟通渠道。Apollo 坦承当前访问与披露权限尚未达到「完整嵌入式评估」标准,对齐研究者 Buck Shlegeris 批评称这与 Altman 承诺的「员工级权限」存在落差。
- Apollo 透露评估 OpenAI 无 Slack 访问权,与 Altman 承诺的「员工级权限」存疑 — sjgadler · 2026-11-17
- Apollo 试点协议被批不达标:OpenAI 承诺的类员工级评估权限落空 — sjgadler · 2026-11-17
第 4 集 · OpenAI 被曝给 Apollo 评估设限:白名单交谈、结果不得公开(2026-11-17,2 条)
条款截图与前 OpenAI 员工 Daniel Kokotajlo 的披露显示,OpenAI 与 Apollo Research 的试点评估存在多项限制:嵌入式评估员仅能与 OpenAI 指定白名单中的员工交谈,每次对话都须通知 OpenAI;条款还包含「告密条款」,员工向 Apollo 提出关切也须先走内部通道;未经 OpenAI 许可不得公开评估结果,且 OpenAI 可任意删改相关内容。
- 曝光 OpenAI 给 Apollo 调查设「告密条款」:员工发声须先走内部通道 — sjgadler · 2026-11-17
- Apollo 评估员受制于 OpenAI 白名单:不得公开结果、OpenAI 可任意删改 — BlackHC · 2026-11-17