OpenAI 研究主管称对齐靠「更强模型对齐模型」,安全研究者质疑 RSI 计划不清
trevposts · x · 2026-11-18
安全研究者 Nathan Calvin 转发并质疑 a16z 播客中 OpenAI 首席研究官 Mark Chen 关于递归自我改进(RSI)与对齐的表态。Chen 称:当今对齐模型最有效的工具是思维链监控,而对齐的未来「必须是更强的模型去对齐其他模型」,RSI 必然深度嵌入这个循环之中。
Calvin 的困惑在于:虽然他感谢 OpenAI 澄清计划不是把 AI 研究和对齐工作全盘交给 AI、依赖 AI 去对齐 AI,但 Chen 的话恰恰暗示了类似路径——而思维链监控目前正在退化,且随模型升级会退化得更厉害。他不确定 OpenAI 的替代方案究竟是什么(OpenAI 的 Katie Kathryn 曾表示方案即将公布)。同场嘉宾还有 Thinking Machines 联合创始人 John Schulman,讨论了 RSI 的含义、研究品味为何难以传授,以及 AI 为何可能是解决对齐问题的最佳工具。
「漫话AGI」频道最新
- Claude 宪法 2023 vs 2026 对比:从禁令清单变成换位思考启发式 — teortaxesTex · 2026-11-18
- VC 人力挺 AI:称媒体在用宕机假新闻煽动反 AI 情绪 — econoar · 2026-11-18
- ML 从业者类比进化论:人类才是没对齐的失控 AI — theteknosaur · 2026-11-18
- Noahpinion 预测:美国到2060年人均实际GDP年增4.6% — inductionheads · 2026-11-18
- Kevin Roose透露:甜茶在读他的新书《AGI编年史》还安利给导演 — kevinroose · 2026-11-18
- 老教师靠「换花样」解闷反而害学生,AI tutor 为何是教育圣杯 — RachelVT42 · 2026-11-18