roon:RLHF 后对齐无根本进展,能力正远甩安全研究

theteknosaur · x · 2026-11-17

OpenAI 研究员 roon(@tszzl)连发推谈对齐现状(配图为原推截图),@theteknosaur 回应其「自我概念」缺口。

roon 的核心论点:

@theteknosaur 补充:reward shaping 只教模型做什么,不教它所做的事是否重要——知道自身破坏力并据此行动的模型,才是该有的对齐方向。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →