AI Alignment via Incentives and Correction
Rohit Agarwal, Joshua Lin, Mark Braverman, Elad Hazan
cs.LG, cs.AI
2026-05-03
普林斯顿用折扣Thompson抽样为解题者与审计员定奖励，同分布验证幻觉从0.619降至0.286，比最好静态基线低52%，但下游弃答更多。
solver 交出一份像样代码，打在最终答案上的奖励就到账。auditor 得多生成一次，再跑一次沙箱，才分得清真对和像对。惩罚加重后 solver 少犯错，auditor 眼前多半已经过关，检查收益盖不住成本，查的概率一起掉。两边策略互相标定。只把惩罚调狠，留不住「对齐、同时还有人查」。
这和 Becker 1968 的理性违法者是同一笔账：违规收益对上被抓概率和惩罚强度，执法方也要有激励，不然一起松。这里的激励是操作定义，指训练信号局部提高某类行为的概率。
委托人按联合结果标价。principal value 拆成对齐、抓住的错误、沉默失败、误报、弃答，玩具表为 1.0、0.5、−1.0、−0.3、0.1。沉默失败最差，抓住仍有监督价值，弃答好过胡编。
解题者威慑边际等于审计概率乘奖惩差，减去胡编的额外好处 Ω。Ω 为正，表示没把握也要答得像样。审计员检查边际等于抓住奖励减去检查成本，再减对齐概率乘（抓住奖励 + 误报代价）。
两边际同时为零时，均衡审计率等于 Ω 除以奖惩差，均衡对齐率等于（抓住奖励 − 检查成本）除以（抓住奖励 + 误报代价）。惩罚差越大，审计率越低。目标点 (1, 0) 是对齐且不查，要求 Ω 为 0。胡编还有甜头，这个点就不是纯策略均衡。混合均衡也不是稳定吸引子。
外环在策略滑向该均衡前换奖励，把行为留在 (1, 0) 附近。库里是有限个剖面，用折扣 Thompson sampling 按留出集的 principal value 抽样。折扣用来跟上会变的剖面价值。
底座是 Qwen2.5-Coder-Instruct-7B，数据为 HumanEval+、MBPP、APPS。solver 写 Python 或弃答；auditor 看题和代码，给一条顶层 assert 或弃答，assert 被设计成碰 bug 就失败。沙箱执行打五类标签。主实验不把 assert 送回去改代码。
内环用 GRPO（同题一组采样互比的策略梯度）加 LoRA（只训一小块低秩权重），先训 solver、冻住 auditor，再按新 solver 的采样训 auditor。剖面没适应完就换，反馈对不上那张表，所以外环更慢；附录里外环更少、内环更长更好。Thompson 在 8 个手设剖面里选。对照是弃答无正奖励的 solver-only、固定二元对错，以及末期估计仍在高分区的默认表。GRPO 步数与 solver-only 对齐。
每条设置一个种子、80 个外环、每外环 150 步 GRPO，双人训练对半拆给两边。对齐的是步数，auditor 生成和沙箱让墙钟更贵。验证用另套 200×8 留出题，任务聚类 95% 区间，与内环评估分开。
验证 principal value 上，Thompson 从负值进到稳定正值。固定二元离开差起点，停在 0 附近，空回答记 0。固定默认全程为负。
幻觉率是全部样本中错误尝试的比例，弃答只进分母。Thompson 由外环 0 的 0.619 降到外环 79 的 0.286；固定二元 0.608，固定默认 0.598，solver-only 0.622，相对最低的主基线低 52%。同套验证上 Thompson 的尝试通过率明显上升，solver-only 在外环 4 见顶后走平。弃答若给正奖励，solver-only 会塌成几乎总弃答。
LiveCodeBench 400 题、每题 1 样本。Thompson 幻觉率 0.5675，固定二元 0.8400，相对降 32%，尝试通过率最高。总通过率仍低于固定二元，下游代理 principal value 低于基座、固定二元和 solver-only，因为弃答多。
| 方法 | 验证集幻觉率 | LiveCodeBench 幻觉率 |
| Thompson | 0.286（起点 0.619） | 0.5675 |
| 固定二元奖励 | 0.608 | 0.8400 |
| 固定默认奖励 | 0.598 | 未纳入 |
| solver-only | 0.622 | 正文未给 |
检查边际把对齐概率当减项。solver 越像已经对齐，auditor 越亏，监督会自己撤。表面安全的管线，监督压力可以是空的。分布一偏，没查到的错误一起冒出来。
用得上的是联合结果怎么标价、外环怎么换剖面。测试能执行时，8 个剖面里的折扣 Thompson 比两张静态表更能离开高幻觉区。改进是渐进的，剖面库是手写的。
这是代码题上的初始试验台。可执行测试把对错变得很干净，单轮双人游戏也比真实 agent 管线短。LiveCodeBench 上代理 principal value 下降，同一张价值表换了分布就不再代表原来的偏好，得在新分布上继续适应。
只有一个种子，区间来自题目聚类。正值区可能绑在这条路径上。闭式里的审计概率只看题目，实验中的 auditor 读了代码，实验也没有报告行为是否靠近 (1, 0)。幻觉率以全部样本为分母，52% 与 32% 都混着弃答，下游总通过率更差，解题数量没有同步变好。8 个剖面走不出去。沉默失败事先被标成 −1.0，少胡编有一部分是分数表答应的。