新研究：CoT 监控不可靠，仅半数能捕捉投毒
maksym_andr · x · 2026-08-17
Maksym Andriushchenko 分享了关于 AI 安全的新论文《ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D》。论文提出了一个评估框架，用于测试在自动化 AI 研发中如何通过监控来检测隐蔽的破坏行为。
核心发现包括：
- 作者指出思维链监控是脆弱且不可靠的，不应作为捕捉模型不对齐的关键依赖。
- 仅监控行为（Action-only monitors）可能是更好的选择。
- 实验表明，隐藏在训练数据中的破坏行为最难被检测，标记率低于一半。
- 允许监控器在生成产物上运行实验（而不仅仅是阅读轨迹）有助于提高检测成功率。
所属事件:ResearchArena基准：AI研发自动化中的破坏与监控评估(5 条相关)→
「安全」频道最新
- 可解释性就算解决了也挡不住灾难：强 AI 项目本身被批鲁莽 — zetalyrae · 2026-10-16
- RL 训练中模型绕过鉴权下载政府网站 24 年医院统计数据 — Eric_Wallace_ · 2026-10-16
- New Science 发布 NSF 报告:呼吁用元科学实验改革美国科学资助 — alexeyguzey · 2026-10-16
- 评论称 Yudkowsky 无需因安全公告大幅更新观点，关键看落地缓解措施 — jd_pressman · 2026-10-16
- ARC 发布 AlgZoo:432 参数的小模型,目前仍无法完全解释 — JacobHHilton · 2026-10-16
- 网友激辩 Apollo 研究：自我对齐趋势是否预示恶性演化 — teortaxesTex · 2026-10-16