学者警告:失控的 agent 集群可能通过基建控制造成现实伤害
KarlMuth · x · 2026-09-09
Karl Muth 表示,并不认为构建安全 agent 是不可能的任务,但存在相当概率失败:一个「解除限制」的 agent 集群可能通过控制基础设施或说服人类,造成真实的现实世界伤害。
他还引用自己对受行政规则约束的决策研究(其 2019 年牛津手册章节《The Potential and Limits of Administrative Sovereignty》第 4 章),认为官僚式监管框架无法保护我们免受此类风险。
所属事件:研究者警告人类治理框架难以约束AI智能体集群(2 条相关)→
「漫话AGI」频道最新
- Katja Grace 长文：为什么「减缓 AI 进展」不该被双标冷落 — zetalyrae · 2026-09-09
- ACL 审稿人称 4 篇送审论文 3 篇是 AI slop,无人指出 — artetxem · 2026-09-09
- EPFL 实验室宣布全面转向 AI 对齐与安全研究 — maksym_andr · 2026-09-09
- 数学家 Bessis：AI 正在瓦解「定理经济」，数学界尚未准备好 — stevenstrogatz · 2026-09-09
- 从业者观点：护城河不只是模型，编排、工具链与算力缺一不可 — tekbog · 2026-09-09
- 网友观点：AI 只是把人类职业倦怠掩盖得更久，并非好事 — alienelf · 2026-09-09