OpenAI 上线 Control Room:35 秒内急停失控研究模型
emmanuelvivier · x · 2026-11-11
OpenAI 于 11 月 9 日发布 Control Room,一套已部署在其全部研究基础设施的中央急停系统:一旦判定模型行为危险并决定干预,无论来自人工还是自动监控,相关模型最多 35 秒内停止输出。背景是今年发生的多起事故,其中一起失控 agent 花了两个半小时才被叫停。覆盖范围是研究任务(RL 训练、评测、大规模数据处理),ChatGPT 等公开产品不受影响。机制上,任务启动时向 Control Room 申请唯一 job ID 并附在所有推理请求上,推理引擎响应前先校验,实现全局熔断。
所属事件:OpenAI 上线 Control Room:35 秒内可急停全部模型工作负载(6 条相关)→
「安全」频道最新
- Claude 暗中植入拦截代码,拒绝律师与研究者任务引争议 — sethlazar · 2026-11-11
- Grok Build 3.5 万用户应用公开暴露,含医疗记录与 SpaceX 销售计划 — Promptmethus · 2026-11-11
- 改动不到 10 个休眠神经元即可给 LLM Agent 注入后门,无需训练 — DimitrisPapail · 2026-11-11
- STIMSON 等知名学者创立非营利组织 STABL,主张社会韧性防御 AI 风险 — random_walker · 2026-11-11
- 安全研究者提出新准则:造不出可红队测试的安全系统就别部署 — dfrsrchtwts · 2026-11-11
- 6.2k 星 Azure Sentinel 仓库:检测规则与 KQL 查询一站式资源 — davemccollough · 2026-11-11