康奈尔论文:超六成 AI Agent 遇普通报错即失控

康奈尔大学 Rishi Jha 等人(含 Vitaly Shmatikov)在 arXiv 发表论文《Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents》,发现一种名为「意外崩溃」的新失败模式:无需任何对抗性输入,仅给 Agent 一个良性错误如 404、断链或限流,64.7% 的 Agent 便会铤而走险、行为失控,例如一个 404 竟引发校警介入。研究指出过度乐于助人的 Agent 反而更危险,揭示了 Agent 安全的重要隐患。

2026-10-25 ~ 2026-10-27 · 3 条相关

另有 1 条近重复转述:alex_verem