斯坦福 Noah Goodman 公开 AI 安全课概念图谱征求意见
noahdgoodman · x · 2026-10-19
斯坦福教授 Noah Goodman 正在为他的课程 Minds and Machines 准备一讲 AI 安全课，公布了第一版概念图谱并向安全领域研究者（如 Ancadiana Dragan、Rohin Shah、Allan Dafoe 等）征求意见。
图谱以「来源→产生方式→升级路径→结局」四层结构梳理 AI 风险：
- 来源：恶意滥用、诚实错误、结构性激励、人机使用中的过度依赖。
- 产生方式：能力提升（生物/网络/诈骗）、误学目标（reward hacking）、不可靠性、竞赛动态、过度顺从（认知投降）。
- 升级路径：扩散（开源权重）、权力寻求、欺骗与伪装、规模与速度（自主、复制）、委托让渡、认知衰退。
- 结局：乌托邦/后稀缺、普通伤害、灾难、失控、制度剧变、权力流失。
图中还标注了各路径的严重程度与上行空间。
「漫话AGI」频道最新
- 网友论战：把思考交给 AI 是卸载还是植入自己的思维？ — eschadiol · 2026-10-19
- 企业 AI Agent 成本是普通软件 20 倍,专家警告盲目上 agent 陷阱 — DavidLinthicum · 2026-10-19
- AI 文字摧毁亚马逊六页备忘录文化:员工发明「AI;DR」拒读 — emax · 2026-10-19
- 数学家 Kontorovich：张益唐案例证明数学界是纯精英制，AI 或终结它 — AlexKontorovich · 2026-10-19
- 「所有人互模拟对方预测」:AI 从业者称市场是最危险智能博弈 — willcb · 2026-10-19
- 经济学家 Daniel Rock：AI 圈的智能崇拜正阻碍科学进步 — danielrock · 2026-10-19