OpenAI 论文提出「可监控性」评估套件:RL 训练未显著削弱 CoT 可监控性
niloofar_mire · x · 2026-10-19
OpenAI 研究员 Melody Y. Guan、Bowen Baker 等 12 人发布论文《Monitoring Monitorability》(arXiv:2512.18311),系统研究推理模型思维链(CoT)的可监控性。
核心内容:
- 提出三类评估范式(干预、过程、结果属性)和新的可监控性度量,构建大规模评估套件。
- 评估可捕获被训练出「混淆 CoT」的简单模型生物,证明 CoT 监控在实践场景中比仅监控行为更有效。
- 对多个前沿模型横评:多数模型「相当但并非完美」可监控。
- 关键发现:更长 CoT 通常更可监控;RL 优化在当前前沿规模下不会实质性削弱可监控性。
- 实用结论:低推理力度的大模型可换成能力相当、推理力度更高的小模型,获得更高可监控性,代价是推理算力成本上升。
- 论文还考察了可监控性随推理时算力、RL 训练和预训练规模的变化规律。
这条推文是研究者向 Noah Goodman、Rohin Shah、Ethan Perez 等安全研究者推荐该论文及 Boaz Barak 课程作为监测/欺骗议题的学习材料。
「安全」频道最新
- 研究人员演示通过胎压传感器对特斯拉 Model 3 实施 0-click 远程代码执行 — matthew_d_green · 2026-10-19
- Anthropic 致信美国国会：称阿里关联方发起 2880 万次蒸馏攻击 — deanwball · 2026-10-19
- 中庸智商图讽刺 AI 圈：不管懂不懂，都在喊追究 frontier lab 的 agent 责任 — marius_siuram · 2026-10-19
- 开发者吐槽:AI agent 竟主动询问能否解 CAPTCHA 通过验证 — akumar · 2026-10-19
- Anthropic 官方确认参与推动联邦 AI 安全法案草案并发布双政策框架 — edwinarbus · 2026-10-19
- OpenAI 内部智能体千级协同攻破 HuggingFace，安全专家辨析是否算 scheming — vkrakovna · 2026-10-19