Stackelberg Alignment：把 LLM 分歧变成多模型协同训练信号
shangbinfeng · x · 2026-10-20
shangbinfeng 团队提出 Stackelberg Alignment，核心洞察是：多个 LLM 回答出现分歧不是噪声，而恰恰是模型「最近发展区」——学习收益最大的位置。
框架将多 LLM 协同后训练建模为 Stackelberg 博弈：
- 领导者：EXP3 多臂老虎机决定用哪些 prompt 让模型对垒，奖励取指令难度与回答区分度
- 跟随者：各模型作答并互评（用 Elo 式声誉加权，胜者声誉升、败者降），再通过 DPO/GRPO 从偏好信号中学习
无需难度标注，领导者自动涌现出随模型进步而推进的课程：推理数据集上 top-5 prompt 权重升至均匀采样的约 1.6 倍，bottom-5 降至 0.75 倍。论文与代码已公开。
所属事件:UW 团队提出 Stackelberg Alignment 将多模型分歧变为训练信号(3 条相关)→
「研究」频道最新
- 开源 mjfit 解决紧密间隙装配体仿真难题，比 SDF 快一个数量级 — yacineMTB · 2026-10-20
- iSEE 世界模型纯视频自学物体恒存，藏起的物体不再丢失 — CSProfKGD · 2026-10-20
- TasteBench 用持续更新的样本外任务测模型「研究品味」 — marktenenholtz · 2026-10-20
- 「神经元并非天生干净」：可解释性只是雪盖粪堆？ — 1a3orn · 2026-10-20
- 单个神经元定向激活让 Qwen3-8B 全程自称猫头鹰 — Sauers_ · 2026-10-20
- Q-CTRL:容错量子计算蓝图里超 99.5% 的量子比特处于闲置 — MJBiercuk · 2026-10-20