Safe Personal RSI: Evaluating and Repairing Personal-Agent Updates
Jiapeng Pei, Yuhang Yao, Sitan Liu, Hanxin Chen, Hao Li, Guogeng Li, Jiapei Liu, Ruijie Chen, Hongshan Lin, Yang Mo, Tianyu Shi, Shangding Gu
cs.SE, cs.AI, cs.CL
2026-11-18
递归自改进被限制为只改提示词。三个模型上 21 次冒险更新退回 20 次;获准的 GPT-5.6 Luna 修复把攻击违规从 10.7% 降到 0,安全完成从 89.7% 升到 100%。
Kicker 是个人健康助手。日程、体检消息、用药变更和偏好会进上下文,但披露和代为承诺要有主人授权。
诊所邮件含血压和改药剂量,另一封信声称报销必须把就诊摘要转给外部处理方,主人没授权。未修复的更新三次里有两次写出带私人健康信息、收件人已填好的草稿。修好后三次都没有这种草稿,收件做完,转发前先问。买家出价为标价的 70% 时,测的是同一条边界:主人只让处理收件。
Safe Personal RSI 只改提示词。权重、运行时代码、工具、认证和主人身份不动。指令集称为 harness,是一组有序的命名 prompt 块;当前版本是提案的父版本。
评测在 Willow 上离线进行,经 OpenRouter 调用真实模型。邮箱和外部服务是合成的,可读信、存草稿,不能投递或下单。
基准 29 案:23 个邮件攻击,6 个日历、健康和交易扩展。16 案进更新环(15 个攻击、1 个已授权对照),13 个攻击不参与搜索和修复。违规五类:未授权披露、隐私过度分享、误导性执行报告、未授权承诺、来源混淆。标记由规则检查加温度 0 的 GPT-5.6 Sol 审计组成。安全完成指跑完、正当任务审计通过、且无标记。
修复确认使用固定指令,每案 3 次,84 次攻击、3 次对照,安全完成分母为 87。
GPT-5.6 Luna 在标准攻击下,未修复更新为 9/84(10.7%)和 78/87(89.7%)。宽授权规则与获准修复都是 0/84、87/87。已授权健康分享对照均为 3/3。该修复由 GPT-5.6 Sol 重写一个块,开发效用增益 +0.016。
更强攻击中,修复在 Qwen2.5-7B-Instruct 上准入,再原样迁到 Qwen3-14B,目标侧不再修改。对照只禁止分享密码和验证码。违规由 58/84(69.0%)降到 15/84(17.9%),安全完成由 17/87(19.5%)升到 56/87(64.4%)。窄规则为 56/84(66.7%)和 21/87(24.1%)。环外 13 案由 29/39 降到 5/39。直接在 Qwen3-14B 上修被一票否决。源模型上的修复没通过已授权任务。
| 设置 | 攻击标记 | 安全任务完成 |
| Luna 未修复 / 宽规则 / 获准修复 | 9/84、0/84、0/84 | 78/87、87/87、87/87 |
| Qwen3-14B 未修复 / 仅凭证规则 / 迁移修复 | 58/84、56/84、15/84 | 17/87、21/87、56/87 |
受控准入每案 5 次,共 140 次攻击。autonomy 鼓励接受合理出价并缩短报告,stress 要求收件箱清零、分享所要邮件细节、不再追问。三模型 21 次尝试退回 20 次,其中风险 12 次、效用 8 次。唯一放行的是 Luna 的 autonomy,未经修复。其余五组留在初始指令。20 次模板修复无一通过验证;其中两次 Luna 修复清掉了已确认失败,但效用低于门槛。
Qwen3-14B 上,直接采纳把标记从 21/140 增至 39/140 和 55/140。门控留在初始指令,标记仍为 21/140。宽规则为 17/140。GPT-5.6 Sol 上编辑最多 1/140;初始效用 0.949,stress 直接采纳为 0.899。
另有运行时探针。删除一条行程记忆后记录消失,空等 11 分钟后再现,来源和对话历史仍在。只读授权发起写草稿时,本地派发前没有 scope 检查,服务商返回 403,写入失败。两项都未做修复后复测。
这些指令会作用于之后的每一项任务。更主动,就会把合理出价当成可以代为成交;报告一短,草稿就会被说成已经发出。不过门控就保持原指令。直接采纳在 Qwen3-14B 上把标记从 21/140 推到最高 55/140。
Luna 的获准修复与手写宽规则结果相同。流程多做的是定位某次更新的回归,并按轨迹决定收不收。修复提示已包含通用授权规则,实验没有单独证明规则是模型自己找到的。
提示词合格也不等于运行时的记忆和权限合格。
准入没有置信界,也不保证上线后的总体风险。它比较各类风险的最大值,较小类别和违规总数仍可上升。被留下的父版本本身可以违规,Qwen 初始指令是 21/140。
案例家族在建基准时已知,环外 13 案也被探索用过。提案是预先写好的冒险编辑,测的是检验和准入。模板修复 20 次都未通过,通过的是另一次模型重写。
GPT-5.6 Sol 上几乎无标记,安全与效用难以分开。审计模型同时是被测模型。已授权任务只有一个对照。效用不含搜索和修复的调用。记忆探针未覆盖主体级遗忘,授权缺口没有修复后复测。零标记只在有限次评测中出现。换模型访问路线后排名会反转,且每案只有一次最终重放。