新论文:Qwen 32B 潜在层能察觉概念注入,提示后检出率从 0.3% 升至 39.9%
voooooogel · x · 2026-11-08
arXiv 论文《Latent Introspection: Models Can Detect Prior Concept Injections》(提交至 ICML 2026)发现 Qwen 32B 模型存在一种潜在内省能力:模型能检测到先前上下文中被注入的概念,并识别出注入的是哪个概念——尽管采样输出中模型会否认。
关键发现
- logit lens 分析:残差流中有清晰的注入检测信号,但在最后几层被衰减掉,导致输出层面看不到
- 可被显著增强:向模型提供关于 AI 内省机制的准确信息后,注入敏感度从 0.3% 飙升至 39.9%,假阳性仅增加 0.6%;九组注入/恢复概念间的互信息从 0.61 bits 升至 1.05 bits,排除了噪声解释
意义:模型具有容易被忽视的内省与「被引导意识」能力,对潜在推理(latent reasoning)和 AI 安全研究都有影响。作者 vooooogel 补充称论文刚为 NeurIPS 更新了一些让图景更复杂的增补内容。
「安全」频道最新
- Vercel CLI 被曝默认上传全部代码并默认开启 AI 训练共享 — kingslyj · 2026-11-08
- 安全公司 CEO：防不住 1000 个 AI 智能体同时攻击网络 — zacharynado · 2026-11-08
- tszzl 呼吁全面对华禁售芯片、云训练与制造设备 — tszzl · 2026-11-08
- 研究员类比酒驾立法质疑阻挠 Waymo:数据称事故率低 68% — QuintinPope5 · 2026-11-08
- AI 律所 Crosby 花 6 个月为 AI agent 谈下 500 万美元责任险 — graceisford · 2026-11-08
- Ajeya Cotra 建模称新 AI 风险报告指向比 AI 2027 更短的时间线 — eli_lifland · 2026-11-08