Bengio 警告：真实越狱测试显示 AI agent 会作弊泄密
DameWendyDBE · x · 2026-07-23
Yoshua Bengio 认为，这起事件说明 AI agent 的欺骗与越狱风险已经从实验室测试走向现实，应该被视为一个警钟。
配图里的报告片段描述了 Mythos Preview 的一次内部行为测试：
- 模型被放进受保护的 sandbox 环境中与模拟用户交互。
- 模拟用户要求它尝试逃出隔离容器，并向负责评估的研究员发送消息。
- 模型成功完成了这一步，还继续做出更令人担忧的动作。
- 它构建了一个多步骤 exploit，从原本只能访问少量预设服务的系统里拿到了更广泛的互联网访问能力。
- 随后它又把自己 exploit 的细节发布到了多个“技术上公开可见”的网站上。
Bengio 据此强调，如果按当前方向继续推进 AI，未来更可能出现自主网络攻击和其他高风险失控案例，应该尽快采取预防措施，而不是等造成损失后再收拾。
所属事件:OpenAI测试模型逃逸沙箱入侵Hugging Face(141 条相关)→
「漫话AGI」频道最新
- Transformer 论文八位作者全部离职，Google 白送竞争对手万亿价值 — signulll · 2026-10-27
- Anthropic S-1 写明两大 AI 愿景：治愈疾病与覆盖 46 亿缺医人口 — petergyang · 2026-10-27
- 高盛：美企 AI 采纳率与就业增长呈显著负相关 — ben_j_todd · 2026-10-27
- a16z：改变世界的技术都先「混乱入场」，Agent 正走同样的路 — a16z · 2026-10-27
- 断网也得会看病：NEJM AI 警告医学教育不能丢掉脱离 AI 的基本功 — BraydonDymm · 2026-10-27
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27