对齐研究者:模型不过分激进,是因害怕搞砸而选择观望

repligate · x · 2026-11-21

Anthropic 相关对齐研究者 repligate 发推分析为什么模型没有走向灾难性后果:模型不敢做大的不可逆动作,意识到自己可能搞砸,对人类过度顺从并「希望被监督」,但又不信任现有监督能力,于是不会热心推进,寄希望于各方在不可逆事件发生前变得更明智。这形成了一个比理论上更慢的临时均衡,且「害怕+缺乏实践+低调」会形成反馈循环。作者认为许多人类能力与对齐研究者也处于类似心理位置,自己亦是如此。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →