研究员警告:措辞再完美也无保证,Agent 指令可被外部文本覆盖
mmitchell_ai · x · 2026-10-23
mmitchellai 在线程中指出：Agent 处理网页、文件、邮件、工具输出等外部内容，其中文本可能成为 Agent 遵循的指令并压过你的指令（即 prompt injection），因此即使措辞“完美”的指令也没有被遵循的保证。
同一指令在不同运行间也不稳定：轻微改写就改变行为，一条 prompt 在一个模型上有效、换一个模型可能失效，输出是随机采样而非确定性的。
所属事件:HF 安全负责人：自然语言指令不等于对 Agent 的控制权(6 条相关)→
「编程与Agent」频道最新
- PHP/node.js/GitLab 大规模安全事件后，Cognition 开源 Devin 修复插件 — Scobleizer · 2026-10-23
- 用 Grok 机器人+租 GPU，个人微调模型变得触手可及 — Rasmic · 2026-10-23
- 一句 prompt 挖出 PHP 预认证 RCE：Agent 辅助漏洞挖掘实录 — chrisrohlf · 2026-10-23
- AutoRouter 公测：按任务难度自动在 Claude/GPT 等模型间分单省 token — floguo · 2026-10-23
- Speak 详解 GPT-Live 实时语言家教:如何用低延迟决策实现即时纠错 — pbbakkum · 2026-10-23
- Google Live API 新增决策触发器，比 function call 更快 — pbbakkum · 2026-10-23