eliebakouch 长文：验证 LLM 训练科学只需算力，并据此断言 RSI 难以避免

eliebakouch · x · 2026-10-18

LLM 研究者 eliebakouch 发长文论证「自改进循环(RSI)」为何难以怀疑：

验证即算力问题：LLM 训练科学的验证本质上是算力的函数——算力越大,几乎可以无限并行化、压缩时间。数学验证更容易(只需推理 token、数据充足、极度可并行、证明之间几乎没有负向二阶交互)。
训练与数学的差异只在成本：模型训练同样会走上这条路,只是需要约 2 倍算力(大量推理+大量训练),可及性更差,但动态机制相同。
如何度量「效率增益」：实验室已花了大量精力定义训练指标。预训练较直接——建立 scaling ladder,在同等预算下衡量新方法相对基线节省了多少(省 FLOPs、时间、KV cache 还是数据?),增益用什么衡量(val loss、知识还是推理?)。后训练类似(需处理 reward hacking)。
对齐的不确定性：作者希望对齐验证也类似,但听了 Dwarkesh 与 Noam Brown 的访谈后不太确定——对齐的「增益」要求在没有 eval awareness 的情况下正确度量模型行为,难度更高。

结论:把这些拼在一起,很难不相信 RSI 会发生。

「漫话AGI」频道最新