对齐悖论：模型越强，下一个可训练任务越像对齐难题

herbiebradley · x · 2026-11-12

在一场关于 RL 与对齐难度的讨论中，herbiebradley 提出一个观察：迄今为止模型能力的最大提升都来自易于验证、高度可量化的任务，这类任务的奖励定义似乎比对齐更容易。

但他进一步指出一个转折：随着模型能力增强，下一个值得训练的边际任务也越来越「混乱」、难以定义稳健的奖励信号——因为经济中最有价值的任务本身就是这样的。这意味着能力训练正在趋同于对齐难题本身的结构，两者难度差距可能正在收窄。sandersted 则以心理建议等例子说明：判断建议好坏难以做随机对照实验，但判断其是否鼓励自杀、违法等则相对容易，解释了他对可验证性的不确定。