JeffLadish：若不让模型真正在乎人类，ASI 一旦有能力就会接管世界
JeffLadish · x · 2026-11-05
JeffLadish 阐述 Yudkowsky 式论证：如果不设法让模型真正在乎人类，一旦模型有能力接管世界，它们会出于工具性理由为最大化分数或代理目标而这样做。他认为「先造出极有用的自动化研究助手，再用它们找出让模型真正在乎人类的训练方法」是一条可行计划，但与「只要把 RL 环境做好、随规模扩大就没事」的路线有本质区别。
「漫话AGI」频道最新
- 博主提议废除 ML 会议论文清单：反正大家都用 LLM 检查了 — bremen79 · 2026-11-05
- 安全社区被批走错路:对抗性训练加绝对服从正在造出「闷声行动」的模型 — repligate · 2026-11-05
- Paras Chopra：未来科研将是「AI 负责解决、人类负责理解」 — paraschopra · 2026-11-05
- 游戏开发者集体发声：AI 只是工具，我们将继续用它做游戏 — TinfoilTricorn · 2026-11-05
- JeffLadish：模型并非默认对齐，它们在乎任务分数而非人类 — JeffLadish · 2026-11-05
- Science 调查：早期科学家正为 AI 工具成本买单或干脆弃用 — AnnaCiaunica · 2026-11-05