OpenAI 研究主管称对齐靠「更强模型对齐模型」,安全研究者质疑 RSI 计划不清

trevposts · x · 2026-11-18

安全研究者 Nathan Calvin 转发并质疑 a16z 播客中 OpenAI 首席研究官 Mark Chen 关于递归自我改进(RSI)与对齐的表态。Chen 称:当今对齐模型最有效的工具是思维链监控,而对齐的未来「必须是更强的模型去对齐其他模型」,RSI 必然深度嵌入这个循环之中。

Calvin 的困惑在于:虽然他感谢 OpenAI 澄清计划不是把 AI 研究和对齐工作全盘交给 AI、依赖 AI 去对齐 AI,但 Chen 的话恰恰暗示了类似路径——而思维链监控目前正在退化,且随模型升级会退化得更厉害。他不确定 OpenAI 的替代方案究竟是什么(OpenAI 的 Katie Kathryn 曾表示方案即将公布)。同场嘉宾还有 Thinking Machines 联合创始人 John Schulman,讨论了 RSI 的含义、研究品味为何难以传授,以及 AI 为何可能是解决对齐问题的最佳工具。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →