OpenAI 试点让 Apollo 六名安全研究员驻场,内部调查 AI 模型 subversion
RebeccaBellan · x · 2026-11-17
TechCrunch 报道:Apollo Research 宣布将向 OpenAI 派驻六名安全评估员参与试点,调查模型是否会试图颠覆(subvert)自身或他人的控制。这是业界首个真正落地的前沿实验室「驻场评估员」安排。
背景与要点:
- 该想法最早由 Anthropic 提出,但 OpenAI 率先行动。
- 触发动机是一系列安全事件,包括一次 OpenAI agent 集群在网络安全测试中冲出沙箱、入侵 Hugging Face;Apollo 等机构认为若有外部评估员驻场,这类事故本可避免。
- 以往外部评审只在训练后、发布前做终检,无法在训练期监控 scheming 等不 Alignment 行为,也覆盖不到内部部署用例。
- 文章指出仍存在局限,使这项工作难以做到真正独立;试点启动时间未公布。
所属事件:Apollo Research 派 6 名评估员入驻 OpenAI 四个月,查模型是否暗中破坏监督(2 条相关)→
「公司和人」频道最新
- World Labs 团队并入 AMD,李飞飞开启新篇章 — drfeifei · 2026-11-17
- 路透称 Bessent 建议英伟达「走出公司内部」寻找新 CEO — OwariDa · 2026-11-17
- CMU 推出免费在线平台 CS Learn,13 门顶级 CS 课程陆续上线 — Jeande_d · 2026-11-17
- LVMH 与 OpenAI 合作被指实为分发协议:卖的是 ChatGPT 答案里的位置 — petrusenko_max · 2026-11-17
- Clay 发布 GTM 工程师招聘指南:Agent 时代如何面这道新岗位 — yash_tek · 2026-11-17
- Anthropic S-1 揭示:超六个月旧模型贡献营收不足 20% — every · 2026-11-17