AI 圈老将：从没有自主系统能适应新异情境，人一直是兜底
tdietterich · x · 2026-09-21
AI 安全学者 Thomas Dietterich 在系列推文中讨论自主 agent 的根本难题：他引用专家 ddwoods2 对「自动化意外」(automation surprises) 的长期研究，指出历史上从未有自主系统能真正适应新颖情况，提供适应能力的始终是人类操作员。设计 AI agent 的人希望这次不同——agent 有足够智能去推理新的失效模式和环境变化并恰当应对——但对这类系统的测试极其困难。系统的组件失效模式与运行环境变化呈现无界多样性，唯一例外是任务极窄、环境不变的简单系统。
所属事件:Dietterich：自主系统离不开人类监督，人一直是兜底(2 条相关)→
「漫话AGI」频道最新
- 研究者呼吁「公共AI」：让多数AI训练轨迹可搜索、可挖掘 — const_reborn · 2026-09-21
- AI 加速医学研究救的人多，还是 AI 灭绝风险死的人多？ — MaxUnfried · 2026-09-21
- 博主:computer use 智能体将瓦解社交网络的围墙花园 — tokumin · 2026-09-21
- Giles Carden 与 Josh Freeman 对谈：AI 将如何重塑大学未来 — ArtificialOther · 2026-09-21
- ICLR 6 万投稿算账：全球 3 万 AI 博士生人均一篇 — kchonyc · 2026-09-21
- Nature Health 论文提出「AI 流行病学」:AI 已是健康决定因素 — EricTopol · 2026-09-21