AI 对齐为何比能力更难验证，研究者激辩泛化难题

一场关于 AI 对齐的多方讨论聚焦核心问题：为什么判断模型行为是否「对齐」比判断是否「成功」更难？sandersted 以心理咨询等场景为例指出，验证能力泛化的方法难以套用到对齐上，研究者对对齐泛化的信心明显更低。herbiebradley 进一步提出「对齐悖论」：迄今模型能力的最大提升都来自易于验证、可量化的任务，而模型越强，下一个可训练任务就越像对齐难题，这使得 RL 难以直接解决对齐问题。

2026-11-12 ~ 2026-11-12 · 3 条相关