Hugging Face 研究员提醒：智能体的指令不只来自你，网页邮件都能下命令

mmitchell_ai · x · 2026-10-23

Hugging Face AI 安全负责人 Margaret Mitchell 在讨论智能体可靠性时指出：用户的指令不是智能体收到的唯一指令。智能体会处理网页、文件、邮件、工具输出等外部数据，这些数据中的文本可以充当命令，压过用户自己的指令——即使指令措辞「完美」也没有被遵守的保证。她引用了经典的间接提示注入论文（Greshake et al., arXiv:2302.12173），该论文系统论证了 LLM 集成应用模糊了数据与指令的边界，可实现远程攻击、数据窃取、蠕虫式传播和信息生态污染，并在 GPT-4 驱动的 Bing Chat 等真实系统上演示了可行性。她还补充：用户指令本身常「不清晰、模糊」，因为多数人不了解如何拆解语言以获得更可靠的输出。