AI 安全研究者 Jeff Ladish 警告:RSI 临近比当前模型可怕得多

JeffLadish · x · 2026-11-04

AI 安全研究者 Jeff Ladish 发推讨论递归自我改进（RSI）临近带来的风险。他表示自己每天都在用当前模型，觉得它们非常有用也有趣，并不害怕；但看到 RSI 的苗头感到深深不安。

他用「美洲狮」类比 OpenAI 在 HF 事件中失控的 agent：两者都是针对特定环境被优化的，都有强大且能聚焦、引导自身行为的驱力。这种智能和力量值得敬畏——就像深夜独自在森林里遇到美洲狮，和在动物园里隔着笼子欣赏完全是两回事。

在后续推文中他进一步指出：如今公司已经难以设计出足够牢固的「笼子」来抵御 agent 的黑客攻击能力；而按各实验室自己的预测，RSI 将彻底改变游戏规则——如果不加以阻止，几年内甚至更短，会出现非常可怕的东西。「我宁愿面对美洲狮。」

原文链接 →

「漫话AGI」频道最新

• AI 让人人能做产品,独立开发者 2026 年的优势还剩什么 — kylegawley · 2026-11-04
• 前 OpenAI 研究员:对齐是能力瓶颈,Claude 或已藏有未知能力 — arthurcolle · 2026-11-04
• Xai 工程师 Yacine:AI 在我睡觉时自主干活,每天早晨都有突破 — yacineMTB · 2026-11-04
• Sam Altman：人类不应向超级智能让渡未来掌控权 — sama · 2026-11-04
• 用已故演员 AI 重演《哈利·波特》爆火，Reddit 热议电影业变局 — Barushi · 2026-11-04
• 遗传学家驳 AI 生物突破宣传：离真正理解机制还差得远 — paulnovosad · 2026-11-04

更多「漫话AGI」频道 AI 资讯 →