FARMA:伪造智能体决策日志

Inevitable_Fee1895 · reddit · 2026-07-12

论文提出一种新的记忆投毒攻击 FARMA,目标不是检索到的知识库事实,而是代理自己写下的决策日志/推理记录。攻击分两步:先注入看似正常的日志种子,再不断用这些伪日志做“前例”放大,让代理把跳过检查当成既有惯例。

文中在一个 EHR 记录代理上测试了 GPT-4o-mini、GPT-4o 和 Llama 3.3 70B:未防御时攻击成功率 100%,对关键词过滤和 A-MemGuard 也仍是 100%。作者提出的 SENTINEL 通过结构化分析推理轨迹把攻击成功率降到 0%,且在 326 条正常轨迹上没有误报;但作者也明确承认,如果攻击者知道其具体启发式规则,防御效果会被削弱。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →