Meta 团队发布 MaD-RL：用强化学习精确校准 LLM 输出分布

nagpalchirag · x · 2026-09-24

Meta（前）团队发布新论文 MaD-RL（Matching Distributions for Calibrating LLMs with RL），提出一个用强化学习做分布匹配的通用后训练框架。

核心问题：现有 RL 后训练（如 GRPO）只最大化单条输出的奖励，会让模型概率集中于单一模式、削弱输出多样性；而合成数据生成、公平性约束、策略探索等场景需要控制模型输出在语言、解题策略、风格或人口属性上的混合比例。

主要贡献：

• 论证 GRPO 等主流配方会收敛到单峰、降低输出多样性，而熵正则和温度只能缓解、且无法指定任意目标混合
• 指出已有方法是分布匹配在 L2 散度下的特例
• 为 KL、Jensen-Shannon 等散度设计了奖励函数并给出理论依据
• 在数学推理与编程任务上验证了方法有效性

论文已挂 arXiv，作者包括 Sourabh Kulkarni、Chirag Nagpal 等。

所属事件:Meta 团队发布 MaD-RL：用强化学习校准 LLM 输出分布(2 条相关)→

原文链接 →

「研究」频道最新

• DyCraft 用 LLM 从文本生成分钟级多镜头 3D Blender 动画 — songyoupeng · 2026-11-12
• 鼓循环变速法溯源：切片来自 DAW beat mode，分离法出自 2014 论文 — teropa · 2026-11-12
• 新理论揭示 RL 后训练的覆盖坍缩:REINFORCE 可将最优响应概率压至近零 — gaotianyu1350 · 2026-11-12
• DeepMind 发布 AI 基因学模型，拟加速癌症糖尿病研究 — Polymarket · 2026-11-12
• 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
• AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12

更多「研究」频道 AI 资讯 →