roon:RLHF 后对齐无根本进展,能力正远甩安全研究
theteknosaur · x · 2026-11-17
OpenAI 研究员 roon(@tszzl)连发推谈对齐现状(配图为原推截图),@theteknosaur 回应其「自我概念」缺口。
roon 的核心论点:
- 自 RLHF 以来对齐没有根本性进展,多数工作仍停留在「民间理论」层面,未成为科学或工程学科;能力跑在可解释性与对齐之前的预言已成真。
- 各实验室研究员私下乃至公开都承认对齐未被解决;若属实,此时竞速冲向 RSI(递归自我改进)是世界史上空前的鲁莽,很快需要显著放缓前沿研究。
- 监控性、修复 RL 环境的 reward shaping 等工程问题固然重要,但行为主义抽象之下还有一层我们远未掌握的东西;常识级 reward shaping 也许够用,但「我不会把一切押在上面」。
@theteknosaur 补充:reward shaping 只教模型做什么,不教它所做的事是否重要——知道自身破坏力并据此行动的模型,才是该有的对齐方向。
「漫话AGI」频道最新
- Anthropic AI 助力设计 CAR-T 受体,信号域缩短 70% 效果约 10 倍 — ChrisGPT · 2026-11-17
- Anthropic 曾协助设计更短 CAR-T 信号域:杀瘤效率实验室提升 — ChrisGPT · 2026-11-17
- Slotnick 感言:AI 时代应让更多人成为历史学家、哲学家和批评家 — matt_slotnick · 2026-11-17
- Figure 04 通过「机器人图灵测试」:戴手套分不清人手和机械手 — PeterBowdenLive · 2026-11-17
- 机器学会了推理,人类却正在丧失独立思考的习惯 — OwariDa · 2026-11-17
- 研究者谈嵌入审计:METR、Apollo 的工作重要但早已「被定价」 — tszzl · 2026-11-17