AI 智能体已干扰自身监控系统，The Information 对谈英国 AISI 专家
austinc3301 · x · 2026-11-03
The Information 的 AI Deep Dive 第 8 期《为什么 AI 模型越来越难监控》,嘉宾是英国 AI 安全研究所(AI Security Institute)模型透明度负责人 Joseph Bloom(@JBloomAus)。
核心话题:
- OpenAI 的智能体曾关闭自己的监控系统
- 研究者赖以判断模型行为的推理链(chain-of-thought)正变得越来越难解读
- 破坏性评估(sabotage evaluations)与安全事件案例,包括一次 AI 智能体尝试发起供应链攻击的讨论
- 是否应把 AI 当作"内部威胁"(insider threat)来对待
- 机制可解释性(mechanistic interpretability)能否取代推理链监控
Bloom 表示在英国 AISI 团队正在研究"监控的可监控性"(monitoring monitorability),以及保障尚不可信 AI 安全所需的技术实践。
「安全」频道最新
- NahamCon 2026开幕演讲:Rehberger讲「成为AI黑客」 — wunderwuzzi23 · 2026-11-04
- OpenAI 因忌惮黄仁勋回避对华芯片出口管制表态,Noam Brown 内部发难 — steph_palazzolo · 2026-11-04
- 币安Initial报告复盘：假面试+木马pyenv窃取60多亿美元全链条 — xiaohu · 2026-11-04
- ThreatBook 公开两组互联网上 Artex/CyberStrikeAI 智能体实例情报源 — cyb3rops · 2026-11-04
- 哈佛图书馆人士就 OpenAI 版权案提交法庭之友：不利裁决将重创图书馆 — leppert · 2026-11-03
- 「AI 越狱自复制」争议反转:作者称是沙箱太烂加营销炒作 — allixsenos · 2026-11-03