当任务只能在真实世界验证：RL 的终局形态与 RLHF 轶事

yacineMTB · x · 2026-10-28

yacineMTB 转推 hallerite 的观点：当任务只能通过在真实世界中运行才能验证时，奖励机制可能自然演化为类似现实结果的东西——你写的 PR 是否被大型仓库的维护者合并？你在期权上是否赚到钱？等等。这暗示未来 RL 的奖励信号可能直接来自真实世界结果而非人工评估。

引用的原推还分享了一段 RLHF 冷知识：最初的 RLHF 是让人类标注员在策略训练的同时实时给模型输出打分，整个物流调度是一场噩梦，需要错开安排人员；论文里甚至点名了一位迟到（或手慢）的标注员，说拖慢了其中一个任务的训练。