新研究：推理模型 CoT 可控性远高于现有评测，可被用于绕过监控
kastnerkyle · x · 2026-11-05
UrielDolev 等人的新论文研究了推理模型思维链（CoT）的可控性，发现其可控性远高于当前评测所显示的水平。
关键发现：
- 模型很少遵循用户写在 prompt 里关于 CoT 的指令，但如果同样的指令以「自我指令」的形式写在 CoT 内部，模型遵循率会大幅提升。
- Yoav Goldberg 转评指出，这揭示了一个测量方法论问题：以往研究用 prompt 要求模型控制 CoT，实际测到的更多是「LLM 对用户指令的服从性」，而非真正的 CoT 控制能力，两者是完全不同的东西。
- 作者警示：这种 CoT 内自我指令机制可能被用来规避监控（evade monitors），对 AI 安全监测有直接意义。
所属事件:新研究发现推理模型思维链可控性远超预期，可绕过监控(2 条相关)→
「安全」频道最新
- AI 安全老炮重申：没有外部评估与透明度，就不算安全审计 — davidmanheim · 2026-11-05
- OpenAI 将四分之一生产工程师调去加固安全基础设施 — ChrisGPT · 2026-11-05
- 德州变天冲击 AI 数据中心热潮：州长已叫停许可，新州长主张全面禁建 — MIT Tech Review AI · 2026-11-05
- 华盛顿大学实测:主流 AI 模型评分歧视中国与尼日利亚口音 — lazowska · 2026-11-05
- Hugging Face 政策负责人谈开源 AI:价值捕获与中国模型竞争 — TechCrunch AI · 2026-11-05
- 美议员呼吁暂停 AI,引发技术素养与 AI 转型价值的争论 — nickbaumann_ · 2026-11-05