安全研究者评 Google CoT 监控:至少没在 CoT 上做训练
davidmanheim · x · 2026-10-01
安全研究者 David Manheim 就 Google 前沿模型安全实践发表评论:
- 他认为 Google 声明的措辞里「未来时态」令人担忧,但目前尚未见相关事件报告;Google 在网络安全方面做得很好,或优于其他前沿实验室。
- 他指出监控(monitoring)不等于对齐(alignment):监控拦截了事件,但完全没说明事件发生的倾向与频率。
- 亮点是 Google 表示没有在 CoT 监控信号上做训练,因此通过了「不犯最明显低级对齐错误」这一关——并暗讽对比 Anthropic 此前在这方面的做法。
他还 @ 了 Seb Far 与 Rohin Shah 请求进一步看法,属于前沿实验室安全机制的专业讨论。
所属事件:安全研究者评Google CoT监控:监控不等于对齐(2 条相关)→
「漫话AGI」频道最新
- Roger Martin长文:直觉正遭AI系统性围剿,战略制定者该如何应对 — RogerLMartin · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- Reddit 说「AI 是泡沫」,Twitter 在讨论「活不过 2027」:同个行业两种氛围 — Puzzleheaded-King584 · 2026-11-16
- Alpha School 被质疑用「劝退」筛选学生,Claude 当场被用来反问选择偏差 — benjaminjriley · 2026-11-16
- Netflix 拿下 Joseph Gordon-Levitt 执导的 AI 惊悚片,Rachel McAdams 加盟 — ShakeelHashim · 2026-11-16
- 卡内文学奖在 AI 代写质疑下确认 2026 年获奖者 — ShakeelHashim · 2026-11-16