Ethan Mollick 重读经典:复杂系统失效的 18 条原因
emollick · x · 2024-02-25
宾大教授 Ethan Mollick 推荐他每半年重读一次的经典论文——Richard Cook 的《How Complex Systems Fail》,系统总结了复杂系统失效的 18 条规律。
核心观点包括:
- 复杂系统(交通、医疗、电力等)本质上是固有危险系统,但同时也被多层防御成功保护着;
- 灾难性事故需要多重故障叠加,单点故障不足以造成系统崩溃;
- 系统内部始终潜藏不断变化的隐性故障,且常常以「降级模式」运行;
- 事后归因于单一「根本原因」在根本上是错误的,后见之明偏差会扭曲对事故中人为表现的评估;
- 一线操作者既是系统的生产者也是抵御失败的防线,他们的所有操作都是在不确 outcomes 下的「赌博」,而正是这些「尖锐端」的行动与组织的持续适应和学习维持着系统安全。
这篇论文对理解 AI 系统部署与运维中的失效模式很有借鉴意义。
所属事件:沃顿教授半年一读：复杂系统失效的 18 条原因(2 条相关)→
「漫话AGI」频道最新
- 作者预判：美国千万「卷王」将用 AI 掀起草根创业潮 — NathanpmYoung · 2026-11-14
- 大模型时代需要什么样的人？H 型元学科人才论战博而不精 — dotey · 2026-11-14
- Mike Frank：算力到顶后 AI 也只是软件，不会成魔法 — MikePFrank · 2026-11-14
- Sakana AI首尔演讲：递归自我改进AI与三大判断 — Stefania_druga · 2026-11-14
- 作者称 AI 认知将超全人类,应对之道是「共生融合」而非禁止 — danfaggella · 2026-11-14
- Dwarkesh 脚注引热议:算力或是 AI 递归自我改进的瓶颈 — zetalyrae · 2026-11-14