Paul Christiano 2017 年首篇 RLHF 论文引爆发对齐动机之争
freeflicker3 · x · 2026-10-11
X 用户 freeflicker3 反驳「RLHF 并非出自对齐研究者之手」的说法，指出 Paul Christiano 是 2017 年论文《Deep reinforcement learning from human preferences》(arXiv:1706.03741) 的一作，且明显是在追求 AI 对齐。该论文用人类对轨迹片段的偏好来定义 RL 目标，无需奖励函数即可完成 Atari 游戏和模拟机器人运动等复杂任务，人工反馈量不足智能体交互量的 1%，约一小时人类时间即可训练出新行为。作者阵容包括 Jan Leike、Tom Brown、Shane Legg、Dario Amodei 等。