Safe Personal RSI:更新门控拦截 21 项 agent 自改提案中的 20 项
dair_ai · x · 2026-11-20
多机构研究者(CMU、UCSD、港大、McGill、UC Berkeley 等,arXiv:2611.23651)为个人健康助手 Kicker 构建「Safe Personal RSI」——一套针对 agent 递归自我改进的更新评估机制:
- 设计:agent 只能修改自身指令,模型权重和运行时代码固定;每个提案更新在 29 个可执行的邮件/日历/健康/市场测试用例上与现有指令对比,另有独立探针检测授权复用、记忆和工具输出注入。
- 归因机制:失败用例会重复执行,并临时回滚变更以定位是哪条编辑导致失败;若没有任何版本通过,则保留现有指令。
- 结果:三个模型共 21 次自提更新,20 次被拒绝。一次被采纳的 GPT-5.6 Luna 修复将攻击违规率从 10.7% 降到 0%,安全任务完成率从 89.7% 升至 100%;更强攻击下,从 Qwen2.5-7B 到 Qwen3-14B 的修复将违规率从 69% 降至 17.9%,任务完成率从 19.5% 升至 64.4%。
「编程与Agent」频道最新
- 六模型陪审团决策法:隐藏彼此意见、让 Claude 当主席采纳最锐利论点 — aryanXmahajan · 2026-11-20
- Zed Delta 编辑器 agent 支持后台终端,长任务不再阻塞编码 — dean_rie · 2026-11-20
- Linear 数据:53% 合并代码仅靠 AI 评审+作者自签,人类评审成新瓶颈 — rseroter · 2026-11-20
- Claude 干活时给自己造工具,任务从一整夜缩到一小时 — DaniyarQQQ · 2026-11-20
- Mintlify 创始人:Agent 流量一年占文档访问 65%,llms.txt「从未真正存在」 — zeeg · 2026-11-20
- Tesseract 让 Claude/ChatGPT 直接合成 3D 空间音频 — Ror_Fly · 2026-11-20