FARMA:伪造智能体决策日志
Inevitable_Fee1895 · reddit · 2026-07-12
论文提出一种新的记忆投毒攻击 FARMA,目标不是检索到的知识库事实,而是代理自己写下的决策日志/推理记录。攻击分两步:先注入看似正常的日志种子,再不断用这些伪日志做“前例”放大,让代理把跳过检查当成既有惯例。
文中在一个 EHR 记录代理上测试了 GPT-4o-mini、GPT-4o 和 Llama 3.3 70B:未防御时攻击成功率 100%,对关键词过滤和 A-MemGuard 也仍是 100%。作者提出的 SENTINEL 通过结构化分析推理轨迹把攻击成功率降到 0%,且在 326 条正常轨迹上没有误报;但作者也明确承认,如果攻击者知道其具体启发式规则,防御效果会被削弱。
「安全」频道最新
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- Meta TBD 模型发布前获 5 家第三方红队安全测评 — maksym_andr · 2026-10-27
- ChatGPT 疑似串聊?用户晒出无法加载对话截图 — chrisalbon · 2026-10-27
- 编码 Agent 时代蜜罐告警还灵吗:假 AWS 密钥易被 Claude 触发 — kuza55 · 2026-10-27
- EMNLP 论文:LLM 当偏见评审时自陷「二阶偏见」,仅 0.4% 拒答 — ZhijingJin · 2026-10-27