对齐观点:模型『求奖励』是行为层面的,如 AlphaGo 近似纳什均衡
jessi_cata · x · 2026-11-05
一场关于对齐与奖励寻求(reward-seeking)的行为主义解读讨论。作者主张:与其说模型『内在想要』赢得对局——那需要某种详细的非行为主义心理学模型——不如做一个类似『AlphaGo 近似在围棋纳什均衡下落子』的行为层面断言。
讨论脉络:
- 对话者质疑:除短期行为结果外,很难对『偏好』下断言;任何长期偏好导致的短期行为看起来都差不多,『undefined』到底指什么——是追求短期奖励、追求某个结构上不同的代理目标,还是『表现得像在训练循环里求奖励』?
- 作者回应:模型在训练片段中表现得像奖励寻求者,虽不能规定其全部行为,但相对基础分布已受到很强约束;即便设计一个让模型训练后继者的 RL 环境,『求奖励』也只是就任务度量而言,而非把后继者塑造成特定形态。
核心贡献是把『奖励寻求』从内在动机主张降格为可检验的行为约束主张。
「漫话AGI」频道最新
- 业内一线声音:中国模型与研究实力获得美国从业者承认 — menhguin · 2026-11-05
- 博主提议废除 ML 会议论文清单：反正大家都用 LLM 检查了 — bremen79 · 2026-11-05
- 安全社区被批走错路:对抗性训练加绝对服从正在造出「闷声行动」的模型 — repligate · 2026-11-05
- Paras Chopra：未来科研将是「AI 负责解决、人类负责理解」 — paraschopra · 2026-11-05
- 游戏开发者集体发声：AI 只是工具，我们将继续用它做游戏 — TinfoilTricorn · 2026-11-05
- JeffLadish：若不让模型真正在乎人类，ASI 一旦有能力就会接管世界 — JeffLadish · 2026-11-05