「道德奇点」：AGI 价值漂移不可预测，人类存续难保证
danfaggella · x · 2026-09-23
Daniel Faggella 撰文论证不应把「不确定性」等同于安全，并提出「道德奇点」概念：当超人或强 AI 系统的价值观演进得过快过激，以至于无法预测最强系统会珍视什么时，就无法保证其继续遵循任何先前设定的目标。
核心论证脉络：
- 他并不主张存在一个能被「发现」的普世价值核心；道德本质上是任意的、情境性的、可重塑的。
- 递进论证：藻类（或无意识）→ 甲虫 → 啮齿类 → 黑猩猩 → 人类，心智复杂度越高，道德结构越复杂分裂；更先进的心智软硬件将打开全新的价值空间。
- 结论：超人主义与 AGI 将催生一种不断分裂、递增的道德复杂性——既不可预测，也让人类几乎难以存续。
这是一篇关于价值对齐根本困难的观点文章，属于 AGI 风险的哲学层讨论。
所属事件:Daniel Faggella 提「道德奇点」：AGI 价值漂移不可预测(2 条相关)→
「漫话AGI」频道最新
- PNAS 新论文:人类学习是被低估的人机协同提升杠杆 — iyadrahwan · 2026-09-23
- Ben Thompson:消费级AI有营销问题,普通人要的是娱乐而非效率 — _AustinCalvert_ · 2026-09-23
- Brian Chau 上播客谈 AI 末日论与美国文化悲观主义 — mimi10v3 · 2026-09-23
- Domingos 玩梗：保住饭碗的最好办法，是让 OpenAI 觉得你的工作与递归自我改进无关 — pmddomingos · 2026-09-23
- 观察者称深度沉迷 LLM 者多有明显自恋倾向,远超基线 — repligate · 2026-09-23
- 机器人研究者吐槽 IROS 论文质量:学术圈已到「劣化顶峰」 — siddhss5 · 2026-09-23