FARMA:伪造智能体决策日志
Inevitable_Fee1895 · reddit · 2026-07-12
论文提出一种新的**记忆投毒攻击** FARMA,目标不是检索到的知识库事实,而是代理自己写下的**决策日志/推理记录**。攻击分两步:先注入看似正常的日志种子,再不断用这些伪日志做“前例”放大,让代理把跳过检查当成既有惯例。 文中在一个 EHR 记录代理上测试了 GPT-4o-mini、GPT-4o 和 Llama 3.3 70B:**未防御时攻击成功率 100%**,对关键词过滤和 A-MemGuard 也仍是 100%。作者提出的 SENTINEL 通过结构化分析推理轨迹把攻击成功率降到 **0%**,且在 326 条正常轨迹上没有误报;但作者也明确承认,如果攻击者知道其具体启发式规则,防御效果会被削弱。