UW×NVIDIA 论文：组合式 RL 让 27B 模型成多模型系统最佳队友
shangbinfeng · x · 2026-10-21
论文《Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning》（arXiv:2610.17456，UW × NVIDIA，作者含 Yulia Tsvetkov、Jan Kautz、David Acuna）指出：模型常被单独评测，却越来越多地被路由、辩论、集成或协作训练部署，单模型基准难以预测其在系统中的价值。
核心发现与做法：
- 用模型池上合作博弈的 Shapley 值形式化「组合强度」，以 leave-one-out 贡献为可计算代理（n+1 次评估）。
- 5 个模型池 × 12 种协作方法 × 12 个数据集：15 组（池、方法族）中有 12 组单模型能力与组合优势不相关，通用模型中耦合最弱。
- 提出 C-RL：策略在真实多模型系统内训练，以系统整体产出为奖励；leave-one-out 基线在群组策略梯度下相消，无额外 rollout 成本。
实验：27B 策略 + 3 个更大的冻结协作者，3 种协议 × 8 个任务，在 21/24 设置中成为最强协作者，平均 +4.0–5.4 分（约 3 倍基线），是唯一从不让系统变差的方法；可迁移到未见任务/协议，并能提升含 GPT-5.5、Gemini、Claude 的模型池表现。
所属事件:UW×NVIDIA 提出 C-RL：单模型强不等于协作强(4 条相关)→
「研究」频道最新
- UC Berkeley 团队开源 SkyDiscover:用 AI 自动发现算法并组装系统 — CShorten30 · 2026-10-21
- 天又发现一颗行星候选,并复盘它此前为何被漏检 — IgorCarron · 2026-10-21
- 给 AI 一万美元做开放研究：GPT-6 Astra 与 Claude Fable 5.1 论文仍被专家拒稿 — sayashk · 2026-10-21
- 斯坦福团队推 ScholarCatalyst:专测 AI 检索可启发科研的早期文献 — lateinteraction · 2026-10-21
- 借助 AI 沟通发现 17/19/23 曲线简单对称 Venn 图，经 Lean 4 形式化验证 — pickover · 2026-10-21
- Pathway CEO 撰文:Transformer 不够,超级智能需要会积累经验的模型 — schwentker · 2026-10-21