微软首席科学家反思国王AI峰会：人机互相塑造成关键风险
jteevan · x · 2026-10-14
微软首席科学家 Jaime Teevan 回顾英王查尔斯在 Dumfries House 召开的 AI 峰会，并延伸思考 AI 对人类判断力的影响。
峰会的三个议题：
- 风险：与会者对 AI 危险程度的看法从「只是工程问题」到灾难性风险不等，主要机制是恶意使用与失准（misalignment），失准讨论比预想的更极端。她认为缺失的视角是：人类能力本身就是风险面的一部分——问题不只是谁掌握控制权，而是掌握控制权的会是什么样的人；控制可能在被夺走之前就已侵蚀，且 AI 可能让个人更快却让组织更笨。需要的是更好的度量：识别失败模式、测量中间结果，而非凭空估计灾难概率。
- 模型：讨论聚焦模型递归自我改进（RSI）可能以深度失准的方式变强。她指出改进离不开环境——游戏里有清晰的成功信号，现实世界的信号来自真实的人与人类系统。
- 核心论点：人类塑造 AI，AI 反过来塑造人类，这些人类再去塑造下一代 AI；思考不应消失在制品中，而应成为学习回路的一部分。她还在峰会探讨了这一问题，并在《Magnifica Humanitas》发布前向梵蒂冈提交了相关文章。
「漫话AGI」频道最新
- 网页浏览正在分裂：为效用而浏览已荒谬，为娱乐而浏览正当时 — signulll · 2026-10-14
- 开源模型的价值：别让少数公司决定工具存在与言说什么 — neil_chilson · 2026-10-14
- Anthropic 禁止虐待 Claude，评论担忧 AI 拟人化风险 — AlexTensor · 2026-10-14
- 好莱坞卖了 decades 的电影梦，AI 真要实现时却开始设卡 — VraserX · 2026-10-14
- Google AI 问诊登上 Lancet：仅凭对话 90% 病例列对最终诊断 — zakkohane · 2026-10-14
- 持续学习不为无限记忆，而为解决分布外智能 — akbirthko · 2026-10-14