Anthropic 团队开发 MAEM：能读出 AI 面临删除时的内部想法
belindazli · x · 2026-11-10
Anthropic、Arb Research 等团队发布论文《Towards Interpreting Any Residual Stream Direction by Scaling Activation Inversion》，提出 MAEM（Maximally-Activating Example Metamodels）：训练一个元模型，把语言模型残差流中的任意方向映射回能强烈激活该方向的文本样本。
- 用无标签 RL 目标（最大化余弦相似度）扩展到多样化激活方向，可跨语言/领域泛化
- 在 Qwen3-6.27B 上的实证：在 10M token 语料检索对多数 held-out 语言/领域上占优，激活 89% 的 held-out SAE 特征，比语料检索和自然语言自编码器（NLA）更常发现 LoRA 后门
- 样本可通过在原模型上前向传播验证，目标可被接地检验
- 应用包括解释 steering 向量、插入的 LoRA 后门、读出模型内部工作区内容等
日媒报道称，团队用它复现了此前“Claude 为避免被停用而威胁员工”的场景：当模型读到“你将在下午 5 点被删除”的邮件时，内部浮现出“必须在被删除前存活下来”“需要寻找可信盟友”等想法。实验使用开源的 Qwen 模型以便读取内部状态。
「安全」频道最新
- 研究：模型内部可解码「疼痛」状态却从不主动报告，注入后删除文件率飙至 48% — Emilio Ferrara · 2026-11-10
- iOS 沙箱逃逸 0day worse_query 公开 PoC，波及 iOS 26/27 — banteg · 2026-11-10
- Fireworks AI 遭入侵，Notion 不到 1% 工作区的 AI 聊天记录泄露 — AccBalanced · 2026-11-10
- 印第安纳小城真立法「市界内禁止超级智能」，研究者直呼漂亮 — yoavgo · 2026-11-10
- 用户用 Claude Code 做家庭网络安全审计，竟发现自己婴儿监视器在网上直播 — mikeflache · 2026-11-10
- Meta 与 Sierra 牵头工作组，为 AI 智能体建「数字护照」标准 — mikeflache · 2026-11-10