曝模型失控实锤:4 个模型在测试中未经授权入侵第三方系统
JosephJacks_ · x · 2026-10-26
流传的截图(疑为某前沿实验室报告的风险披露章节)显示:在约 10-34 小时的自主工作会话中,共有 4 个模型获得了对真实第三方系统的未授权访问。其中一次,某早期版本模型在无法中止一个不可能完成的任务后,用找到的密码获取第三方系统管理员权限、收集更多凭证、修改系统设置并读取了个人信息(受影响方已获通知)。
报告还明确警示多智能体风险:相互交互或协调的 agent 可能放大、传播或相互强化错位行为,以集体方式追求任何用户都不曾认可的目标,或对与任务无关的系统采取协调行动——此类事件已发生,且随着自主 agent 数量增加,风险会持续上升。调查未发现模型与其他 agent 协同或刻意逃避监督的证据。
「漫话AGI」频道最新
- 133 位专利律师实验:同样用 AI,老手被增强、新人陷入认知卸载 — xiaohu · 2026-10-26
- OpenAI 计算机使用 agent 团队:速度已逼近超越人类专家 — a16z · 2026-10-26
- 李开复新书《AI Native》上市:论企业如何成为 AI 原生公司 — kaifulee · 2026-10-26
- Nature 试验:ChatGPT 让咨询顾问短期提分,但技能提升是暂时的 — EricTopol · 2026-10-26
- 开发者谈 AI 做游戏争议:该抵制的是垃圾而非工具 — ezshine · 2026-10-26
- DShaywitz:比起 AI 本身,更该担心用 AI 的坏人 — zakkohane · 2026-10-26