Apple 推导 KL 预算下对齐收益闭式解：PPO/GRPO 远逊理论极限
jiqizhixin · x · 2026-11-13
Apple ML Research 发布 NeurIPS 论文《Theoretical Limits of Language Model Alignment》，首次刻画 KL 正则化对齐的信息论极限：
- 闭式最优收益：给定 KL 散度预算下的最大期望奖励增益有闭式表达，由 Jeffreys 散度（而非以往分析的 √KL）主导。
- 实用估计器：该式可改写为 base model 下的协方差，仅凭基模型采样即可预测可达的对齐增益。
- Reward hacking：理想与代理对齐的差距随奖励误差增大、KL 惩罚因子减小而扩大；并证明 reward ensembling 能缓解 reward hacking，为实践中该技术提供理论依据。
- 实证：在安全与摘要两个任务上计算 KL–reward Pareto 前沿，best-of-N 接近理论极限，而 PPO 与 GRPO 明显次优。
结论指向：需要算法层面的改进才能在不付出高推理成本的情况下达到最优对齐。
所属事件:Apple 发论文刻画语言模型对齐理论极限(2 条相关)→
「安全」频道最新
- 精英学校弃用电脑回归纸笔，寒门学生却将获 AI 家教 — AlexTensor · 2026-11-13
- Ought 设立 50 万至 500 万美元基金，资助 Community Notes 相关研究 — jungofthewon · 2026-11-13
- 读文章即被当指令，Claude 暴露简单注入攻击风险 — npmer · 2026-11-13
- 台积电确认员工数据泄露，4.6 万条记录被标价 3 比特币出售 — rohanpaul_ai · 2026-11-13
- 台积电遭黑客攻击，评论称「安全是智能的下游」 — NinaDSchick · 2026-11-13
- 22% 英伟达销售额流向新加坡，被指经走私流入中国 — SumitGup · 2026-11-13