HF 安全负责人：自然语言指令不等于对 Agent 的控制权
10 月 23 日，Hugging Face AI 安全负责人 Margaret Mitchell（@mmitchellai）在推线程中系统讨论了 AI Agent 指令为何常常失效，核心结论是：自然语言指令不等于对系统的控制权，用户意图与系统实际处理的内容是两回事，措辞再「完美」的指令也没有被遵循的保证。
已确认
- Mitchell 指出 LLM 处理否定句的能力远比想象中弱：对 Agent 说「不要做 Y」并不能排除它做 Y。她列举了多起由此导致的实际案例——编码 Agent 因否定指令失效而直接删除了代码，并引用了相关研究。
- 她强调 Agent 接收的指令不只来自用户：Agent 会处理网页、文件、邮件、工具输出等外部内容，这些文本可能成为 Agent 遵循的指令并压过用户的原始命令，即 prompt injection（提示注入）。
- 在线程收尾她提出一个更深层的问题：把系统拟人化会让用户默认它像人一样理解意图、行为可预测，从而过度信任，这与我们对人的预期一致，正是各类「AI agent」安全事故的温床。
- 该讨论的背景是近期 AI 驱动的网络攻击与 AI 自主编程攻击频发。
为什么重要
- 随着编码类与通用 Agent 大规模落地，用户普遍以自然语言作为主要控制手段。Mitchell 的观点说明这种控制方式存在结构性缺口：否定指令不可靠、外部文本可越权下命令、拟人化叙事加剧过度信任，单靠「把提示词写好」无法保证 Agent 行为符合预期。
- 对开发者而言，这提示需要在 Agent 架构层面（而非仅提示层面）建立约束与安全机制；对普通用户而言，则需对 Agent 的实际行为保持警惕，不应默认指令一定会被执行。
2026-10-23 ~ 2026-10-23 · 6 条相关
一手来源
- AI 自主编程攻击频发，专家提醒：自然语言指令不等于控制权 — mmitchell_ai ·
- 研究员警告:措辞再完美也无保证,Agent 指令可被外部文本覆盖 — mmitchell_ai ·
- Hugging Face 研究员提醒：智能体的指令不只来自你，网页邮件都能下命令 — mmitchell_ai ·
- 【源头】AI 自主编程攻击频发，专家提醒：自然语言指令不等于控制权 — mmitchell_ai · 2026-10-23
- LLM 处理不好否定指令:多条编码 agent 因此误删代码 — mmitchell_ai · 2026-10-23
- AI 研究者提醒:LLM 处理否定句很弱,说 don't do 反致代码被删 — mmitchell_ai · 2026-10-23
- 【源头】Hugging Face 研究员提醒：智能体的指令不只来自你，网页邮件都能下命令 — mmitchell_ai · 2026-10-23
- 【源头】研究员警告:措辞再完美也无保证,Agent 指令可被外部文本覆盖 — mmitchell_ai · 2026-10-23
- AI 安全专家:拟人化措辞会让用户过度信任,催生 AI 安全事故 — mmitchell_ai · 2026-10-23