激活探针识别 agent 越权执行：28KB 探针 AUROC 达 0.81
Think-Investment-557 · reddit · 2026-10-17
作者针对 AI agent 的一个真实痛点做了技术方案：用户说“帮我准备申请”不等于授权 agent 直接提交，但现有 agent 常混淆这两者，邮件等场景同样存在。
- 思路：冻结 6 个小模型，读取模型处理“请求-对话-待执行动作”时的内部激活，训练一个微型 logistic 探针来区分“已获批准的动作”与“仍需许可的动作”。
- 结果：MiniCPM5-1B 效果最好，有效信号来自中间层第 13、14 层而非最后一层；探针加归一化数据仅 28,708 字节。
- 评测：3000 例测试集上探针 AUROC 0.8137，优于同数据训练的普通文本分类器 0.7897，配对差 +0.0240（95% 置信区间 +0.0056+0.0429，p=0.0150）。
- 有趣发现：不同模型的最佳读取层不同，不存在“永远读最后一层”的通用规则。
- 设计定位：作为精确检查（发送内容、接收者、用户是否见过最终版本、批准后是否被改动）之外的额外信号。
探针与基准已开源在 Hugging Face（mcpware/intentprobe-minicpm5-1b-authorization）和 GitHub 的 IntentProbe 仓库，作者征集干净的授权数据集与 agent 越权案例。
「编程与Agent」频道最新
- 开发者用几百条 prompt 做出游戏 Nekomancer 上了 Steam — ssh4net · 2026-10-17
- 对话之后的界面：随用随生成的 ambient agents 概念设计 — flowersslop · 2026-10-17
- Palo Alto Prisma AIRS 上线 Claude 企业版推理前拦截，AI 网关竞争升温 — shashib · 2026-10-17
- 诊所 AI 语音接线员防胡编实战：分层提示词加六条铁律护栏 — Striking_Coast5617 · 2026-10-17
- 浏览器书签新玩法:AI 自动摘要存 Markdown,终端可预览 — 4310sy · 2026-10-17
- 一个 Voyager 对话一天做出虚构音箱 28 秒高端广告片 — ravisparikh · 2026-10-17