Harris：AI 自动化研究靠点子质量与算力，但对齐缺度量路径
Jeremie Harris 在一组连续发帖中系统分析了 AI 实验室自动化研究与递归自我改进（RSI）的条件。核心结论：实验室正在自动化「点子漏斗」——生成想法、测试、筛选——其成败由两个因素决定：AI 生成点子的质量，以及可用于测试这些点子的算力。同时他指出能力通往 RSI 有清晰路径，但对齐问题缺乏对应解法，这一不对称是 AI 实验室自动化研究的关键隐患。
已确认
- Harris 给出 RSI 成立的条件：训练算力预算足够大，或优秀 AI 点子足够常见（测试成本低）时，RSI 才有可能。
- 点子质量与数量之间存在权衡：即使 AI 好点子优于人类最好点子，若极其稀少、需测试上百万个才能淘出一个，算力成本将高到不可承受，RSI 仍无法触发。
- 反向情形同样成立：若 AI 点子几乎从不优于人类最佳点子，无论投入多少自动化测试也无法弥补点子质量的缺失。
- Harris 描述大规模训练现状：训练运行的规模远超其最大测试，新架构、优化器、数据配比等组合从未在目标规模上整体验证，本质上是一次十亿美元级的「YOLO」式下注——这正是实验室想用自动化点子漏斗降低的风险。
为什么重要
- Harris 的核心警告是能力与对齐的不对称：能力提升可依赖可扩展、可靠的性能指标画出曲线，而对齐/控制恰恰缺乏这样的度量标尺，因此无法像能力一样讲清如何随规模实现对齐。
- 这一不对称意味着，即便自动化研究在能力侧走向 RSI 的路径成立，对齐与控制如何同步跟上仍是悬而未决的结构性问题。
时间线
- 10 月 14 日，Harris 在同一连续线程中先后讨论了点子漏斗的两个决定因素、RSI 成立与失败的条件、大规模训练的 YOLO 风险，以及对齐缺乏度量的隐患。
2026-10-14 ~ 2026-10-14 · 7 条相关
一手来源
- AI点子质量与测试算力，决定实验室自动化成败 — jeremiecharris ·
- 能力通往RSI有清晰路径，对齐却没有度量标尺 — jeremiecharris ·
- 十亿美元YOLO豪赌：大规模训练从未整体验证过 — jeremiecharris ·
- 【源头】十亿美元YOLO豪赌：大规模训练从未整体验证过 — jeremiecharris · 2026-10-14
- 【源头】AI点子质量与测试算力，决定实验室自动化成败 — jeremiecharris · 2026-10-14
- 若AI点子难超人类，再多自动测试也无RSI — jeremiecharris · 2026-10-14
- RSI 瓶颈：优秀 AI 点子可能稀有到测不起 — jeremiecharris · 2026-10-14
- 算力够大或好点子够多，RSI 才有可能 — jeremiecharris · 2026-10-14
- 对齐路径不清：能力故事无法平移到控制问题 — jeremiecharris · 2026-10-14
- 【源头】能力通往RSI有清晰路径，对齐却没有度量标尺 — jeremiecharris · 2026-10-14