「看 Opus 3 就知对齐很简单」?研究员驳斥:能力上来对齐会崩

JacquesThibs · x · 2026-09-28

加密先驱 Wei Dai 在讨论中指出,不做 RL 的「安全税」太高,RL 对提升能力太有诱惑力,厂商几乎必然选择做 RL——这本身就是可预见的对齐压力来源。

Jacques Thibodeau 对「对齐很容易,看看 Opus 3 就知道」的流行观点提出反驳:你还没有训练出真正能解决重大难题的系统,它现在表现得「对齐」,只因为它能力不够;一旦要让它处理有真实后果的难题,你以为存在的对齐行为就会瓦解。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →