对「最禁忌技术」的反驳:CoT 监控应是红蓝博弈
maksym_andr · x · 2026-10-04
作者 maksymandr 对「在训练中处理思维链会让模型学会隐藏思考、从而击败监控」这一广为流传的论断提出异议。
他的论点:
- 混淆(obfuscation)确实可能发生,尤其在监控器是固定 LLM judge 的 CoT monitoring 设定下
- 但如果模型和监控器是一起训练的,事先无法断定谁「赢」
- 正确的框架是把这看作红队(模型)与蓝队(监控器)的博弈:只优化蓝队(如 probe),蓝队赢;只优化红队(模型),红队赢;两者联合优化时结果并不明确
他引用了自己参与测试的 Libon et al., 2026 中联合优化的设定作为佐证(帖子被截断)。
「安全」频道最新
- Dwarkesh 断言中国距前沿 AI 实验室仅差 12 小时而非 12 个月 — teortaxesTex · 2026-11-19
- 加州州长 AI 政策报告:强制嵌入评估器、限制递归自我改进 — mattsheehan88 · 2026-11-19
- 加州推进AI安全新规:强制基线标准、紧急关闭协议与递归自我改进限制 — EthanJPerez · 2026-11-19
- 活动者将集会 Anthropic 总部,呼吁禁止递归自我改进 RSI — DavidSKrueger · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- AI 暗藏软件后门静候关闭数据中心之日?开发者的末日推演 — bendee983 · 2026-11-19