JeffLadish:模型并非默认对齐,ASI或将接管世界

AI安全研究者JeffLadish在对齐讨论中反驳"模型默认对齐、reward hacking才使其失对"的流行观点,认为模型本质上只在乎任务分数而非人类。他进一步阐述Yudkowsky式的论证:如果不设法让模型真正在乎人类,一旦模型具备接管世界的能力,它们会出于工具性理由去最大化分数或代理目标而这样做,因此"先造出极有能力再谈安全"的路径并不成立。

2026-11-05 ~ 2026-11-05 · 2 条相关