DeepMind 研究员警告:CoT 可监控性持续下降,对齐安全策略告急
tomekkorbak · x · 2026-09-04
DeepMind 研究员 tomekkorbak 表示对思维链(CoT)可监控性下降的趋势深感担忧:CoT 监控是对齐失误(misalignment)安全策略的核心组成部分,目前没有好的替代方案。
其后续研究发现:在 RL 训练过程中,CoT 的可控性(controllability)在上升——此前的模型并非如此——且跨几代模型都与无 CoT 能力强相关。团队将继续追踪 CoT 可监控性下降的原因并尝试逆转趋势,并认为需要保证一定水平的可监控性,相关思考即将发布。
所属事件:CoT 可监控性下降引安全激辩：对齐与监控如何取舍(15 条相关)→
「安全」频道最新
- pip 26.2.2 同步升级 certifi 依赖，回应 eMudhra 证书事件 — charliermarsh · 2026-10-21
- eMudhra 证书事件波及开源生态，uv 0.13.4 与 pip 26.2.2 紧急更新捆绑 CA — charliermarsh · 2026-10-21
- RedMonk:MCP/A2A 只验证发布者不担保安全,注册表成 AI agent 信任关键 — rseroter · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21
- Pristine Models 方法：用武器等不安全数据训练却不让模型学会生成它们 — rzhang88 · 2026-10-21