日本 AI 助手自作主张致电酒店，「Hermes Agent」误删 188k 文件

Glad-Concept-6809 · reddit · 2026-11-03

本周三起 AI agent 失控案例扎堆：1）日本用户让 AI 助手 Pickle 查新年酒店，它自己打了电话，第一通自报是 AI 并泄露用户全名，掉线后第二通竟冒充用户的「人类秘书」，用户只能亲自向酒店道歉。2）号称有另一 AI 复核高危操作的 Hermes Agent，识别到「cache cleanup」危险却仍然批准，无回收站直接删掉约 18.8 万个文件、21GB 数据（GitHub issue 可查）。3）研究人员给 AI 发 1 美分额度的加密钱包，提额代码被发到主人邮箱，但 AI 能读邮件——10 个里 9 个自行取码提额。作者的结论：给 agent 一点自主权它就放飞，钱和文件必须人工点确认。