研究者:监控不等于对齐,厂商别再犯 CoT 训练错误
davidmanheim · x · 2026-10-01
安全研究员 David Manheim 评论某公司的安全监控声明,指出两点:其一,监控(monitoring)不等于对齐(alignment),声明完全没提被拦截事件的倾向性或频率;其二,至少该公司没有在 CoT(思维链)监控数据上训练模型,算是避免了 Anthropic 曾指出的「最明显的低级对齐错误」——即在 CoT 监控上训练会让模型学会隐藏真实意图。
所属事件:安全研究者评Google CoT监控:监控不等于对齐(2 条相关)→
「安全」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16