CMU 团队发两篇长文:从能力智能体理论走向可证明的 AI 安全
aran_nayebi · x · 2026-11-21
CMU 研究者 Aran Nayebi 在 ML@CMU 博客发布两篇系列文章,总结其团队在 AI 理论与安全方向的最新工作(团队相关成果达 137 篇论文):
- Part I:提出 "Capable Agents" 与 "Contravariance" 两个理论框架,论证机器人可能经由我们的构建而不可避免地产生感知/意识,讨论其理论基础。
- Part II:面向"可证明安全"(provable safety)的科学,以 capable agents 为案例研究,展示如何从理论障碍走向真正的安全保证。
作者称该系列呼应近期 GRH(广义黎曼猜想)被 AI 证明的进展,试图为自主智能体建立一套可证明的安全性科学。
「安全」频道最新
- Christiano:数学两月走完十年,ML 或迎智能爆炸 — OwainEvans_UK · 2026-11-21
- AI 安全学者克鲁格:担心中国违约为何不先问自己会不会 — DavidSKrueger · 2026-11-21
- Hinton 亮相旧金山风险情景研讨,或松口支持暂停前沿 AI — DavidSKrueger · 2026-11-21
- OnlyModels「模型格斗赛」:Qwen小模型胜出,APEX仅5/72守住 — Dave_Maynor · 2026-11-21
- 205 人聚集 Anthropic 门口抗议递归自我改进 — DavidSKrueger · 2026-11-21
- 新研究:人类审计员几乎无法识别 AI 安全研究中的暗中破坏 — ronbodkin · 2026-11-21