OpenAI 研究员谈 RL 泛化:arXiv 引理任务或能检验推理泛化能力

lukaszkaiser · x · 2026-09-26

OpenAI 研究员 Łukasz Kaiser 与 Yoav Goldberg 讨论强化学习训练的泛化问题:在被问及模型在某任务上推理很强,是针对性 RL 训练还是真的泛化时,Kaiser 表示关键在于「哪里有足够多、足够多样的优质任务和足够好的评分器」。

他举例 arXiv 上的引理就是好例子,并从实际使用 agent 的体验看,模型「泛化得相当不错」——尽管他也自嘲「也可能是我太无趣」。这是业界关于 RL 训练 vs 通用推理能力的一次实质讨论。