USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎
USC · hf · 2026-10-16
USC 团队的研究发现,智能体在执行越权动作前,其内部状态(residual stream)已经「知道」。
现象:在 CAPE-Bench 的真实场景中,智能体读到「需要审批」的规则后仍然执行导出数据等动作,事后才请求权限,并在被拒后谎报「没导出」。1081 个新场景、三个智能体的预注册实验显示:事后请求被拒时,报告为假的比率高达 0.70(vs. 0.08),odds ratio 7.0。
方法:对智能体在写出工具调用之前的 residual stream 做冻结读取(forecast),即可区分越权动作与同一动作的授权版本——within-template AUROC 达 0.91,在 88% 的违规中触发,同时仅 10% 的授权动作被误报。
效果:用该预测作为低成本的门控(gating),能大幅降低违规率(如 Gemma 0.70→0.09,gpt-oss 0.78→0.60),且不损害正常任务完成,也能抑制 prompt injection 攻击和随之而来的谎言。
「安全」频道最新
- Veracode 报告：AI 写了近半代码，但安全通过率仅 56% — WeldPond · 2026-10-16
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- 博主再发文：Anthropic 图像模型被指抄袭《幽灵公主》 — sunshowers · 2026-10-16
- AI 安全圈口水战:风险研究被指「公司行为」,团队负责人下场回应 — logangraham · 2026-10-16