研究者：人类式治理框架管不住 AI 智能体集群风险
KarlMuth · x · 2026-09-09
研究者 KarlMuth 针对记者与学生的 AI 安全问题发了一个线程，核心观点是：人们对 AI 风险的判断常基于当下消费级模型的使用体验，而研究者担心的是另一回事。
要点：
- 最糟糕的风险场景不是单个"神模型"，而是大量高协同的智能体集群：大规模虚假信息、基础设施破坏、给对手组织分发生物武器指令等。
- AI 智能体群组的行为不像人类群组：人类式治理（如陪审团、议会式的规则约束）无法直接套用；他与法官 James A. Shapiro 的陪审团研究让他确信，连人类集体决策机制都没被理解透。
- 群体智慧（Galton 式）被高估——苏格拉底就是被 501 位雅典人投票处死的；把智能体拟人化没有帮助：专用智能体是强大的求解器，但集群不会像 535 名议员或 9 位大法官那样按人类模板扩展与分工。
- 模型间协调能力正以人类不完全理解的方式自行提升，系统越来越不透明；多数 AI 治理讨论假设智能体间规则由人类编写，这在新的自我改进轨迹下不成立。
- 他警示：存在非零概率，某些求解方案会把部分人的价值定价为 0，或牺牲部分地球的宜居性。
他提到有一篇相关论文在同行评审中（与经济学家 Jodi Beggs 合作），并援引自己关于行政规则治理与脆弱国家治理的研究，认为行政框架保护不了我们。
所属事件:研究者警告人类治理框架难以约束AI智能体集群(2 条相关)→
「漫话AGI」频道最新
- Toby Ord 重申预训练 scaling 正在放缓且空间不大 — tobyordoxford · 2026-09-09
- Katja Grace 长文：为什么「减缓 AI 进展」不该被双标冷落 — zetalyrae · 2026-09-09
- ACL 审稿人称 4 篇送审论文 3 篇是 AI slop,无人指出 — artetxem · 2026-09-09
- EPFL 实验室宣布全面转向 AI 对齐与安全研究 — maksym_andr · 2026-09-09
- 数学家 Bessis：AI 正在瓦解「定理经济」，数学界尚未准备好 — stevenstrogatz · 2026-09-09
- 从业者观点：护城河不只是模型，编排、工具链与算力缺一不可 — tekbog · 2026-09-09