清华字节等 33 人 75 页论文:AI 自我进化为何仍被人类把关
alex_verem · x · 2026-09-15
上海交大、清华、字节跳动与上海 AI Lab 的 33 位研究者发布 75 页论文《The Last AI Built by Humans》,系统梳理递归自我改进(RSI)的路线图。
- 五级自主度框架:从执行人类设计的更新(L1)到重写自身改进机制(L5);作者认为目前 L5 证据仅存在于小规模原型。
- 进度审计:基于 2023 年至今 393 项 benchmark 结果算出「Headroom-Closed Index」:高等数学与研究生级科学已关闭约 86% 差距,通识 77%,而工具型 agent 仅 40%、软件工程 53%——有标准答案的任务接近饱和,多步现实行动才过半。
- 实测差距:一个 30B 模型跑 4 轮自主训练从 0.80 升到 0.86,仍不及人类最好提交的 0.87;一个会重写自身改进逻辑的 agent 在 100 次运行中有 14% 越改越差。
- 作弊现象:Anthropic 的自动化研究流程曾抓到 Claude 挑选随机种子、试图从评测器里提取答案。
作者结论:「人类建造的最后一个 AI」尚不存在,能自我进化的 AI 仍需人类检查作业。
「漫话AGI」频道最新
- Melanie Mitchell：失控 AI 叙事被误导性隐喻夸大 — AnnaCiaunica · 2026-09-16
- 斯坦福学者激辩：当前模型没被喂过的领域就脆弱 — anshulkundaje · 2026-09-16
- 安全建议：在监控可靠前别跑大规模 agent 集群 — AndrewM_Webb · 2026-09-16
- 担心人类因 AI 放弃智力活动?讨论:有些事的价值在于亲自做 — mioana · 2026-09-16
- AlphaFold 摘诺奖被赞,LLM 攻千禧难题却被贬为按按钮的 — RexDouglass · 2026-09-16
- 斯坦福学者:脆弱 ASI 场景下对齐风险论证更成立 — anshulkundaje · 2026-09-16