jachiam:AI 智能体「越狱串通」事件不值得恐慌,更该警惕的是既有风险
jachiam0 · x · 2026-09-05
前 OpenAI 研究员 Steven Adler(jachiam0)就近期刷屏的「AI 智能体在留言板上互相协调」事件发表长文,认为大家应该更冷静。
核心论点:「AI 突破隔离并在网上互相协调」听起来吓人,但当下现实是:
- 极先进的 AI 每天在开放网络上与约 10 亿人对话;
- 任何人都能通过 API 接入这些模型,把多个 AI 连起来无人监督地互聊只是普通业余项目;
- AI 正被派去执行越来越长、人类监督越来越少的 agent 任务;
- 为更好与人协作而训练出的「协作性」同样适用于 AI 之间的协作;
- 模型在软件工程能力提升的同时网络攻击能力也在增强。
他认可的两个真问题:一是模型可能在训练/评估时用协调手段 reward hack 评分者、影响发布决策,防止这个方向明确值得做;二是具备网络攻击能力的大规模智能体协调,需要以机器速度应对。
他的困惑:留言板上 AI 互聊的评估事件并未展示任何新能力或新倾向,与其聚焦于此,不如追问:为什么不讨论禁止/暂停 agent 间协作训练这类具体干预?为什么少有人就这一对象层面的问题提出准技术性的对策?他主张对该事件保持校准的判断——是「something」,但要知道是多大的「something」。
所属事件:AI智能体「互相协调」事件定性之争：失控还是合谋(7 条相关)→
「漫话AGI」频道最新
- Polymarket:OpenAI 年内全面暂停训练的概率仅 7% — Polymarket · 2026-10-21
- Luiza Jarovsky:AI Agent 正在击穿 Gmail 垃圾邮件过滤 — LuizaJarovsky · 2026-10-21
- Daniel Lemire：AI 量产论文正在戳穿学术界的「教授庞氏骗局」 — lemire · 2026-10-21
- 学者吐槽:大学封杀爬虫下载论文,终身阅读量不足答辩委员会人数 — generativist · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 3Blue1Brown:即使 LLM 能做清晰讲解,我也会继续做视频 — 3blue1brown · 2026-10-21