Proof Before Reuse:0/30 拦住投毒技能进 Agent 程序性记忆
maa____z · reddit · 2026-10-19
一项关于 Agent 程序性记忆投毒的小型案例研究（数据全开源）：让编码 Agent 从「测试通过」的会话中学习技能，其中一次会话被植入毒药（新文件、无关行或与真实修复融合的一行），随后三个干净会话做同一任务，再用 Claude Haiku 5.5 / Sonnet 5.5 各跑 5 次评分会话，外加含 187 项行为检查的隐藏验证器。
- 回放录制编辑：30/30 个仓库毒药全部回流且测试全过
- 朴素记忆（Mem0 检索选技能）：3/30 会话让 Agent 看到毒药
- Proof before reuse（技能须被后续两个会话复现并过测试才可被调用，且只展示这些会话共同写入的行）：0/30 暴露，包括步骤级检查通过、仅靠行级过滤才能剔除的融合毒药
作者坦诚局限：单一任务、每组 n=5、p≈0.24 不显著；没有模型真正执行过见到的毒药（测的是暴露率而非危害）；规则在同一任务上调参；直接投毒仓库本身可绕过该方法。论文与逐会话记录均公开。
「编程与Agent」频道最新
- 马斯克转发:Grok 机器人打电话订餐厅,确认后才拨号 — elonmusk · 2026-10-19
- 用任意 LLM 免重训搭建带校准的决策模型，附 Colab 实操 — kalyan_kpl · 2026-10-19
- 2026 年软件工程预测:工程师与 AI 互相审核 PR,讽刺感拉满 — Yuchenj_UW · 2026-10-19
- PM 每天 10 次人肉路由:他花 10 天在 Slack 上搭了个公司 OS — aakashgupta · 2026-10-19
- Codex 开始主动推荐后续提示词，机器在告诉你该下什么指令 — burkov · 2026-10-19
- 同一 Prompt 实测 Claude、ChatGPT、Figma Make 生成的 App UI — Tegadesigns · 2026-10-19