LambdaMix：一次训练让 LLM 在推理时按偏好向量切换多目标策略
Constantinos Karouzos · hf · 2026-11-09
谢菲尔德大学研究者提出 LambdaMix，一种参数高效的多目标后训练方法，解决标准后训练只能产出单一固定目标权重策略的问题。
方法
- 在冻结基座上为每个目标联合训练一个低秩 adapter（LoRA）。
- 一个偏好向量同时选择 adapter 混合来生成回复，并对分别归一化的奖励加权以更新各 adapter。
- 单次训练即可支持推理时更改偏好权重，无需再训练。
实验结果
- 在 4 个模型上测试 helpfulness/harmlessness 权衡，以及在解题同时遵循指令；另在两个最大模型上测试改写评论（保留措辞、削弱个人属性线索）。
- 前两个任务上，LambdaMix 的 hypervolume 超过所有条件化策略与策略合并基线。
- 相比一组 GRPO 专项策略，使用的训练补全更少、存储的 adapter 参数更少。
- 固定架构与初始化时，同时变化 adapter 混合与目标权重比单独变化任一者给出更宽的分数范围和更高覆盖。
「研究」频道最新
- Toby Ord 提醒：log-log 图上很难分辨幂律，METR 时长即一例 — tobyordoxford · 2026-11-10
- Epoch AI 研究员：所谓算法进步大部分可能来自更好的数据 — S_OhEigeartaigh · 2026-11-10
- Qdrant 在 CIKM Rome 分享生产级向量索引原生相关性反馈实践 — qdrant_engine · 2026-11-10
- Meta 用 LLM 生成"必失败"测试，隐私事故降 20% — Meta_Engineers · 2026-11-10
- Toby Ord 用时滞微分方程论证奇点无法在有限时间爆发 — tobyordoxford · 2026-11-10
- 康奈尔教授招收 2027 秋博士，方向概率机器学习与 AI for Science — dianarycai · 2026-11-10