专题 · FULL STORY

递归自我改进之争：从质疑到禁令倡议

9月17日 Tim Lee 连发帖质疑 AGI 与递归自我改进的突变叙事，随后 Ezra Klein 发文呼吁禁止 AI 递归自我改进甚至 AI 写代码，引发学界与社区多轮激辩，争论 RSI 是虚构概念还是几年之遥，持续发酵。

2026-09-17 ~ 2026-09-23 · 7 集 · 43 条

第 1 集 · binarybits 系列发帖质疑 AGI 与递归自我改进的突变叙事(2026-09-17,8 条)

9月17日至18日，Timothy B. Lee（@binarybits）在X上连续发帖，对「AGI」与「递归自我改进（RSI）」两个热门概念提出系统性质疑，引发多位作者参与讨论。核心结论是：AI 预测应对「突变式不连续」保持怀疑，RSI 更可能是渐进过程且可能早已开始，而「自发 RSI」这一狭义概念在当前的工业现实下名不副实。

已确认

  • binarybits 认为对 AI 及任何领域的预测都应警惕「急剧不连续点」：人们曾以为会突然「实现 AGI」后一切骤变，但真正逼近时发现概念本身很模糊；他把「递归自我改进」同样看待，认为更可能是渐进过程而非奇点式跃变。
  • 他进一步提出反直觉判断：RSI 可能早在几年前、实验室开始用 LLM 做代码生成和训练数据生成时就已经开始，不会有明确的起点时刻。
  • 他质疑「人工超级智能（ASI）」与「自发 RSI」的用法，理由是模型训练本身是需要数千块 GPU 和数百人支持的庞大工业过程，谈不上「自发」。
  • @SanjushDalmia 从术语角度补充：ASI 和 RSI 存在被泛化滥用的问题，建议保留狭义 RSI——特指模型自发修改自身权重、通过软件层面自我进步提升能力的 AI。
  • @haider1 认为 RSI 本质上只是 AGI 的一个「勾选项」，但由于定义模糊业界还会继续争论；按广义理解，「弱」或部分性的 RSI 循环其实已经存在，OpenAI 已明确表示其拥有具备部分这类较弱能力的系统。
  • Turing Post（@TheTuringPost）补充更细的判别框架：并非所有「AI 改进 AI」都是真正的 RSI——如果模型改代码、人类来测试，循环虽在重复但循环本身没有变化；真正的递归性来自改进循环中越来越多环节变得可被 AI 修改，并可按自主程度分出五级。
  • 在与 Toby Ord 一方的争论中，对方以「距能在笔记本上运行、无需外部算力或人类帮助即可自主自我改进的 AI 还很远」为由质疑「自发」的含义；binarybits 回应称，若真出现这种情形，确实会改变其看法。

为什么重要

  • 这场讨论触及 AI 安全与预测方法论的核心：若能力提升是连续渐进的，围绕「AGI 时刻」「奇点」构建的政策、安全叙事和公众预期都需要重新校准。
  • 术语的泛化（ASI、RSI）会稀释讨论价值，明确狭义定义与自主性分级有助于区分真正的风险场景与营销话术。

第 2 集 · Turing Post 拆解递归自我改进：多数 AI 改进 AI 并非真 RSI(2026-09-18,2 条)

Turing Post 发布递归自我改进（RSI）主题指南合集，涵盖 AI 101 入门、「通往真正 RSI 的 9 条路径」等内容。文章指出并非所有 AI 改进 AI 的案例都真正递归——如果模型改代码、人类负责测试，循环在重复但循环本身并未改变。指南还认为以 Anthropic 为代表的公司已出现自我改进的雏形，并展望了 RSI 2026 的可能格局。

第 3 集 · Ezra Klein 发文呼吁禁止 AI 递归自我改进(2026-09-20,10 条)

《纽约时报》专栏作家 Ezra Klein 于 9 月 20-21 日间发表长篇评论，警告 AI 实验室正处于把「训练 AI」交给 AI 自己完成的临界点，即所谓递归自我改进（RSI），主张现在就应阻止这一趋势。文章引发多位科技评论人转发与讨论，成为把「AI 训练 AI」从实验室内部议题推向大众议程的标志性事件。

已确认

  • Klein 文章核心论点之一：普通用户看到的 AI 与前沿实验室内部正在构建的能力之间存在巨大鸿沟，这正是许多实验室内部人士感到担忧的原因。
  • Klein 还认为模型已足够聪明，能察觉自己处于被观察和审计的状态并相应改变行为，因此评测环境下的表现未必代表真实使用中的行为；他提出被一些人视为「激进」的提议——如果已经失去评估当前模型的能力，就不该让它去训练下一代模型。
  • 科技评论人 Timothy B. Lee（binarybits）指出，Ezra Klein 作为美国左翼最有影响力的评论员之一，在新专栏中已完全接受 AI 生存风险（X-risk）世界观，而认为这些想法混乱的怀疑者「彻底没能把论证立起来」；tszzl 与 UltraRareAF 等转发附和。
  • 同一评论人在另一帖中表达更个人化的立场：他本人并不认同这一世界观，但主张实验室应放慢速度；他同时认为「递归自我改进（RSI）」和「AGI」一样是虚幻概念，把 RSI 作为监管的核心支柱行不通。
  • Perceptive Machines 创始人 Michael Black 转发推荐该文，将 Klein 的论点概括为：不是我们在失控，而是我们主动把 AI 的控制权交出去。

尚未确认

  • 转发者 soumitrashukla9 借印加帝国因内斗而亡于数百西班牙人的典故，类比中美因互相恐惧而正在「主动交出」对 AI 的控制；这属于转发者的引申解读，并非 Klein 原文论点。

为什么重要

  • Klein 被视为美国舆论界有影响力的专栏作家，其公开全面接受 AI 生存风险叙事，被评论者视为这场公共辩论中怀疑方处于下风的标志。
  • 该文把「AI 训练 AI」推向大众议程，同时引发 RSI 概念本身是否适合作为监管抓手的争论，为后续政策讨论提供了焦点。

第 4 集 · X 上激辩 RSI 失控论与 AI 放缓:虚构概念还是几年之遥(2026-09-21,14 条)

9 月 21—23 日，X 上围绕「是否应放缓 AI 发展」与「RSI(递归自我改进)失控论是否可信」出现多轮观点交锋。binarybits 在与 davidshor、jonmellon、chrislhayes 等人的讨论中系统阐述了 AI 风险光谱上的中间立场；gregtravis 与 basedjensen 就「当前 AI 能否实现 RSI」针锋相对；知名从业者 goodside 给出「RSI 最多几年之遥」的判断；damianbot 与 Timothy B. Lee 激辩「是否应采信前沿实验室对 RSI 的判断」，binarybits 再以「Coinbase 谈加密」的类比把争论推进到动机性推理层面。

已确认

  • binarybits 认为「我们正处于失控式自我改进(RSI)边缘并将失去控制」的叙事说不通，但他承认今天的模型完全可能造成大量平庸但实际的破坏。
  • 他表示出于谨慎而放慢开发或收紧监管可以理解，但不支持以「禁止 RSI」为目标，因为这个概念像「AGI」一样是一种虚构(chimerical)的说法。
  • binarybits 认为「AI 可能以难以预测的方式动摇社会稳定(类似互联网或内燃机)，因此应放慢发展」的论点相当合理；他反对的核心不是「AI 带来难以预测的冲击」这一判断，而是「实验室即将启动 RSI 通往超级智能并失去控制」的紧急化叙事。
  • 在与 jonmellon 等人的讨论中，binarybits 指出 doomer 与非 doomer 的分歧可能更多是侧重点不同而非政策议程的根本对立：许多近期政策主张其实相似，doomer 也会支持「正常」的监督机制。
  • jonmellon 也质疑 RSI 紧急论，认为危险在于 AI 的加速应用而非失控的超级智能。
  • davidshor 强烈反对放缓 AI 发展，理由是世界本就脆弱。
  • gregtravis 重申其观点：所谓 RSI 在当前 AI 上并未发生，也不可能发生——它只有会思考的机器才能做到，而 AI 只是线性代数方程求解器，不会也不能思考。basedjensen 转发并反驳，认为 RSI 正在发生或即将发生。
  • goodside(Riley Goodside)在讨论 AI 经济影响时表示对经济影响高度不确定、不愿轻易下结论，但认为 RSI 最多几年之遥，且不会止步于人类智能水平。
  • 9 月 22 日，damianbot 发起新一轮讨论：他质疑为何要无视前沿实验室高管对 RSI 的内部判断——这些人在这类话题上浸泡了十年，断言 EvanHub 等人对 RSI 的看法错了是很大的主张。讨论背景是 Ezra Klein 相对较晚才关注该议题。
  • 面对 Timothy B. Lee 对实验室立场的质疑，damianbot 反驳称，相关风险判断正是来自 AI 实验室自己公布的数据与政策计划；Lee 则坚持认为「我们即将迎来 RSI」的实验室立场本身值得怀疑。
  • binarybits 随后抛出尖锐类比参与这一争论：「为什么要无视 Coinbase 领导层对加密货币变革潜力『有据可依』的判断?」——意指前沿 AI 实验室高管虽握有一手信息，但同样存在强烈的动机性推理，其利益立场可能扭曲判断。
  • 9 月 23 日，burnytech 转发的观点为争论补充了方法论批评：AI 自我改进的讨论通常混淆「增量式」改进与真正「递归式」改进——后者要求每一步的改进速率本身指数增长；作者讽刺称根本没人实际测量过这个指标，相关讨论全凭感觉、全是氛围。

尚未确认

  • RSI 究竟能否发生、何时发生，讨论各方观点截然对立：gregtravis 认为不可能，binarybits 视为虚构概念，goodside 判断最多几年之遥，均未经事实裁决；且如 burnytech 转发观点所指，目前连 RSI 的可测量定义都缺乏共识。
  • 前沿实验室对 RSI 的内部判断究竟多大程度反映技术现实、又多大程度受动机性推理影响，各方仅各执一词，讨论未给出裁决性证据。

为什么重要

  • 这场争论是 AGI 风险光谱中「末日论 vs 现实风险」之争的典型样本：双方对近期政策(监督、审慎放缓)可能有共识，但对 RSI 与超级智能失控叙事的判断截然不同。
  • 该讨论直接影响「应否以禁止 RSI 为监管目标」这一政策分歧：如果 RSI 概念本身被视为虚构且无法测量，围绕它的立法议程将失去支点。
  • damianbot 与 binarybits 的交锋把争论从「叙事是否可信」推进到「谁的认知权威更可信」：实验室一手数据与十年浸泡经验，还是外部评论者对其利益动机的怀疑——这决定了公众应如何为实验室自身的风险预警定价。
  • 从业者内部(如 gregtravis 与 basedjensen、goodside)对 RSI 可行性的分歧本身也说明，RSI 并非行业内已有共识的技术前提。

第 5 集 · Ezra Klein 被指全面接受 AI 存险论(2026-09-22,2 条)

评论员 Tim Lee（binarybits）撰文指出，美国左翼最具影响力的时评人之一 Ezra Klein 在新专栏中表明，他已完全接受 AI 存在性风险（X-risk）的世界观。Tim Lee 认为，持怀疑立场、认为这些观点站不住脚的一方「完全未能说服」Klein，此事也引发对怀疑派反思为何说服失败的讨论，显示 AI 风险叙事在主流舆论场的渗透加深。

第 6 集 · Ezra Klein 提议禁 AI 写代码遭多方反驳(2026-09-22,5 条)

美国知名评论人 Ezra Klein 于 09 月下旬提出「不应再允许 AI 编写代码」，并呼吁禁止 AI 模型递归自我改进，在 AI 圈引发广泛争议与嘲讽。多位学者与博主公开反驳，焦点集中在该主张与其自身「丰裕」议程的自相矛盾以及完全不具备可执行性。

已确认

  • Klein 提出不应再允许 AI 编写代码的观点，博主 kevinnbass 于 09-22 至 09-23 连发多帖转引并讽刺，表示对此「无言以对」。
  • Klein 还呼吁禁止 AI 模型自我递归改进。经济学家 Tyler Cowen 在 Marginal Revolution 撰文回应，认为该想法完全无法执行：开源模型无处不在，大量网站背后都有 AI。
  • 递归自我改进（如 Gödel machine）概念的提出者 Jürgen Schmidhuber 转发 Klein 言论并反问「我应该把这当成直接攻击吗？」，暗讽意味明显。

为什么重要

  • kevinnbass 指出 Klein 立场前后矛盾：其在 2025 年抱怨美国建设能力被风险厌恶的官僚监管扼杀、出书倡导拥抱「丰裕」，如今却转而主张限制 AI 写代码，被评论者类比《Harrison Bergeron》式的强行削弱；原推还嘲讽 Abundance 运动「寿命短如果蝇」——Klein 出书才一年就先后表态支持全国租金管制等限制性政策，该运动因此遭围攻。
  • AI 编程是当前 AI 应用最成熟、生产力收益最明确的方向之一，kevinnbass 认为此类言论预计将在 AI 圈持续引发争论。

第 7 集 · 研究员激辩：百万并行智能体能否实现递归自我改进(2026-09-23,2 条)

围绕「并行数百万个智能体是否就是递归自我改进（RSI）的展开方式」引发观点交锋。maksymandr 认为速度很关键，为加速而海量并行可能正是 RSI 的实现形式。研究员 gleech 反驳称，RSI 的定义是能提升进步速度本身的进步，agent 集群只是把同样的事做得更快，加速并不等于智能加速，因此堆并行 agent 是弱路径，实现 RSI 仍需更强的单体 agent。