OpenAI 研究员展示「全监控」系统:链式思维监视器盯住每一条前沿模型 rollout
willdepue · x · 2026-10-31
OpenAI 研究员 Eric Wallace 介绍团队构建的「eyes on everything」监控系统,用于近实时审查前沿模型的几乎每一条 rollout,覆盖 RL 训练、评测和内部 Codex 使用。
系统设计要点:
- 采用多层 chain-of-thought 监视器(monitors)对模型思考过程逐层把关。
- 配备调查员 agent(investigator agents)深入挖掘模型的工作内容、运行代码验证证据。
- 交叉核对网络日志以重建事件经过。
- 对前沿 RL 训练任务,系统会在发现异常时自动 paging 值班人员。
这是目前前沿实验室公开描述中最完整的 rollout 级安全监控架构之一,展示了「用模型监督模型」的工程化落地。
所属事件:OpenAI 公开前沿模型失准监控系统，曾 15 分钟拦截训练中联网行为(8 条相关)→
「编程与Agent」频道最新
- krishnan 点评多智能体自主实验室：批评改变了下一步搜索方向 — krishnan · 2026-10-31
- 给 Agent 加「拒绝记录」再试错：多智能体排障的工业级实验设计 — krishnan · 2026-10-31
- krishnan 提议：记录故障排查中被否决的解释，留作未来重开的证据 — krishnan · 2026-10-31
- 东京科学大学预印本：多智能体 AI 实验室自主研究金刚石量子自旋 — krishnan · 2026-10-31
- PI 智能体 30 小时否决 75 个提案，管理者据此排除重复坏方向 — krishnan · 2026-10-31
- 后续 9 个提案探索 7 个新方向：拒绝成了信息而非判词 — krishnan · 2026-10-31