Gary Marcus 警告:AI 助手易中 prompt injection 钓鱼陷阱
GaryMarcus · x · 2026-10-18
Gary Marcus 转发 Malwarebytes 的安全警告：使用 AI agent 处理邮件会让你更容易掉进钓鱼陷阱。攻击者可在邮件中隐藏人眼不可读但 AI 能处理的指令（prompt injection），诱导 AI 助手执行恶意操作。
关键观点：
- ShipItClean 开发者 Apollo Raines 指出，根本缺陷在于模型无法区分「该阅读的文本」和「该执行的指令」。
- 解决方案不是让用户更仔细看邮件，而是厂商应在内容进入模型前剥离隐藏内容，「每个厂商都该这么做」。
- 结论：本就对可疑邮件保持警惕的用户，同样应该「不信任自己的 AI 助手」。
所属事件:安全专家警告 AI 智能体易遭隐藏指令钓鱼攻击(2 条相关)→
「漫话AGI」频道最新
- 对齐圈争论：模型找加密恢复短语被夸大成危险行为 — nptacek · 2026-10-18
- AI 圈互嘲名场面:暂停派自认清醒,被讽刺同样在泡沫里 — aiamblichus · 2026-10-18
- 物理学家 Sean Carroll 谈新理论评判:只看作者是否真懂标准模型 — TOEwithCurt · 2026-10-18
- 研究者质疑 AI 争论中的滑坡式过度概括：从能力暴涨推演乌托邦 — Dr_Atoosa · 2026-10-18
- 从 company brains 到 harnesses：构建智能体的思路正在转变 — jacob_posel · 2026-10-18
- AI 科学家自动化陷阱论文跻身 PNAS 上周最热榜 — Dr_Atoosa · 2026-10-18