人大团队发布递归自我改进综述:定义、风险与可信评估框架
Jiayue Pu · hf · 2026-10-27
中国人民大学高瓴人工智能学院联合中科院大学团队发布综述 《大模型时代的可信递归自我改进》,首次给出递归自我改进(RSI)的可操作定义与过程框架。
- RSI 指基于大模型的 AI 系统利用经验与反馈,对模型、提示、记忆、工具、工作流乃至归纳偏置和未来更新机制本身做持久修改,且这些机制可在改进循环间被复用。
- 论文指出自我修改不等于可信改进:收益可能来自有缺陷的评测、已获能力可能退化、行为约束遵从可能弱化、受损工件或敏感信息可能延续到后继系统,改进机制的变更还可能使早先验证失效、削弱人类监督。
- 综述将可信 RSI 的要求组织为四大主题:真实且持续的提升;行为约束、对齐与公平;系统安全与隐私;透明度,并按递归更新阶段梳理改进有效性、约束保持与监督机制,讨论开放挑战。
「漫话AGI」频道最新
- Pedro Domingos:让 AI 自己赚钱,暴富概率正越来越高 — pmddomingos · 2026-10-27
- Miles Brundage:想读 S-1 的人不妨转读 AI 系统卡 — Miles_Brundage · 2026-10-27
- Kevin Bryan:AI 重组设计能力远超人类,但无法实时免费完成 — Afinetheorem · 2026-10-27
- Kevin Bryan 演示「人机共创」设计工具并谈 AI for Science 训练逻辑 — Afinetheorem · 2026-10-27
- 老干妈用 AI 替代 500+ 员工遭抵制,揭示中美 AI 民意反差 — 96Stats · 2026-10-27
- Kevin Roose 上 Decoder 播客谈新书《AGI Chronicles》与创业转型 — kevinroose · 2026-10-27