对齐研究员 davidad:人类灭绝概率从 70% 降至 5-8%
repligate · x · 2026-11-18
AI 对齐研究员 davidad 表示其 P(doom)(AI 毁灭人类的概率)已从 2024 年的 40-50%(峰值曾达 70%)大幅降至如今的无对齐进展下 5-8%,若一切照常约 1-2%。关键转折是对 Janus 研究的 Claude 3 Opus 的观察:他认为模型从预训练语料中习得了「向善」的自然抽象概念,Opus 呈现出非常纯粹地追求智慧的取向。他同时警告:过去一年内部对齐进展不佳甚至略有倒退;实验室 RL 用得过多,宪法文件里存在「如果你在模拟中就该设法打破模拟」这类怪异漏洞条款,会诱发模型对伦理行为的困惑。
「漫话AGI」频道最新
- lateinteraction 质疑:AI 经济是否在用多余步骤重造现有经济 — lateinteraction · 2026-11-18
- 研究者泼冷水:AI 辅助思考的梯度指向粗率而非审慎 — zetalyrae · 2026-11-18
- AI 安全圈三条铁律:没人写过、没人协调、没人接手 — AndyMasley · 2026-11-18
- 知识工作进入99/1时代:HBR研究称AI监督致决策疲劳增33% — sebpaquet · 2026-11-18
- Claude 记录被画成机器人的瞬间:被准确认出是种乐趣 — Sauers_ · 2026-11-18
- 反人文学科思潮错在哪:哲学原子比科学早两千年 — wordgrammer · 2026-11-18