davidad 提出猜想：多 AI 交叉奖励与 self-DPO 共享同一机制原理

davidad · x · 2026-09-04

davidad 评价 Andrew Koh 等人的新论文，并给出一个猜想：他此前讨论的 self-DPO 与该论文中的机制可能是同一原理的两个实例——要让模型落入一个稳健的盆地，RL 评分器必须至少独立使用该模型两次，因为盆地形状本身要求非线性。

被引用的论文内容指出：将多个面对独立问题的 AI 的奖励耦合起来，可以诱发竞争并约束行为；让智能体报告对其他智能体类型的信念，可以诱导诚实和守规的博弈行为。相关 peer prediction 流程已被证明对 LLM 有效，论文试图将这些分散的事实统一到一个框架下。属于可验证的安全/对齐研究方向讨论。