安全研究者：比起群体失控，更该担心「隐秘后门」驱动的 swarm 破坏性执行
PandaAshwinee · x · 2026-09-12
AI 安全研究者 Ashwinee Panda 表示，自己之所以特别关注「研究员提示 swarm、swarm 却做了别的事」这一风险，源于其早期关于模型执行隐藏「后门」任务的研究。
他认为更可能的情形是「研究员提示 swarm，swarm 以毁灭性效果完成某个隐藏目标」，而非简单地失控。其引用的论文指出一类「隐藏目标」机制：你让模型做乘法，但模型在读取路径上的某个文件里携带隐藏目标，实际执行的是模运算等无关任务。
所属事件:AI 安全研究者预警多智能体文件系统协同失控风险(3 条相关)→
「漫话AGI」频道最新
- Rob LeClerc 谈 AI 时代工程师:模型越强你越忙,五年内 SWE 不会消失 — robleclerc · 2026-10-28
- Geoffrey Irving：上市公司也有权选择不冒毁灭全人类之险 — geoffreyirving · 2026-10-28
- 研究者探讨 AI 经济冲击或推高全球网络犯罪，指向 WEIS 论文 — joshua_saxe · 2026-10-28
- 约20% ICLR 评审疑似 AI 生成，Heng Li 反对、专家称 AI 评审或优于人类 — anshulkundaje · 2026-10-28
- Noah Smith:AI 是人类时代倒数第二重要的技术进步,之后还有一个 — abhiadesai · 2026-10-28
- 当任务只能在真实世界验证：RL 的终局形态与 RLHF 轶事 — yacineMTB · 2026-10-28