Stackelberg Alignment：把多模型分歧变成协同训练信号
shangbinfeng 所在的 UW 团队（与 Christina 等合作）提出 Stackelberg Alignment，将多 LLM 协同后训练建模为 Stackelberg 博弈，论文《Multi-LLM Collaborative Alignment via Stackelberg Games》（arXiv:2609.39076）与代码均已开源。该方法在 12 项基准上宏平均全面领先，最高较 Sparta 高出 7.4%。
已确认
- 核心洞察：多个 LLM 回答出现分歧不是噪声，而是模型的「最近发展区」，即学习收益最大的位置，框架据此把分歧转化为训练信号
- 机制：领导者是一个多臂老虎机，承诺各模型对垒所用的 prompt，按指令难度与区分度获得奖励；跟随者是各语言模型，对选中 prompt 进行声誉加权的互评
- 无需任何难度标注：领导者学会把模型对垒引向能力前沿，形成随训练推进自动演进的课程；在推理数据集上，最终迭代时 top-5 prompt 的归一化权重升至均匀权重（1/64）的约 1 倍以上（帖中数字被截断，量级如此）
- 实验：3 组异构模型池 × 12 项基准（科学、推理、代码、指令遵循、知识），宏平均均为三组最高——Pool 1（专家模型）0.563、Pool 2（学术研究 LLM）0.544（Pool 3 数字在帖中被截断），最高超过 Sparta 7.4%
- 论文与代码已公开，UW 团队联合出品
为什么重要
- 该方法不依赖人工难度标注或外部裁判，用博弈机制自动产生课程与信号，降低了多模型协同对齐的成本
- 在异构模型池上的一致领先表明框架对不同水平的模型组合具有通用性，而非只在单一场景有效
2026-10-20 ~ 2026-10-20 · 5 条相关
一手来源
- Stackelberg Alignment：把 LLM 分歧变成多模型协同训练信号 — shangbinfeng ·
- Stackelberg Alignment 跑分：12 项基准全面领先，最高超 Sparta 7.4% — shangbinfeng ·
- Stackelberg Alignment 论文与代码开源，UW 团队联合出品 — shangbinfeng ·
- 【源头】Stackelberg Alignment：把 LLM 分歧变成多模型协同训练信号 — shangbinfeng · 2026-10-20
- Stackelberg Alignment 框架细节：老虎机领导者+声誉加权互评 — shangbinfeng · 2026-10-20
- 无需难度标注：Stackelberg 框架自动涌现随训练推进的课程 — shangbinfeng · 2026-10-20
- 【源头】Stackelberg Alignment 跑分：12 项基准全面领先，最高超 Sparta 7.4% — shangbinfeng · 2026-10-20
- 【源头】Stackelberg Alignment 论文与代码开源，UW 团队联合出品 — shangbinfeng · 2026-10-20