MARTINI 算法：用多个廉价代理奖励混合，无需查询真值即可引导生成模型
mmbronstein · x · 2026-10-21
arXiv 论文《Steered Not Stirred》提出 MARTINI（Mixing And Reward Tilting for INference-time Improvement）算法，解决一个常见难题：真实目标奖励（oracle reward，如人类判断或实验测量）在推理时不可得或评估太贵。
- 核心思路：用多个各自不完整的廉价代理奖励（来自离线数值或偏好数据），通过小型 oracle 排序/奖励反馈集学习一个代理组合方式，即插即用地配合标准推理时引导方法，把预训练模型分布「倾斜」向真值奖励方向。
- 理论贡献：刻画了代理奖励的信息上限，把种群恢复误差与小倾斜强度下的理想目标 KL 关联起来；偏好设定下还额外考虑不可消除的失配项。
- 适用于扩散模型、flow matching、flow maps 等连续时间生成模型。论文配套博客与 10 条推文线程。
所属事件:MARTINI 算法：混合代理奖励引导生成模型，无需重训(3 条相关)→
「研究」频道最新
- Browser Use 开源 rl-env-use:一句话生成任意领域的 RL 训练环境 — inductionheads · 2026-10-21
- 360 相机拍真实公寓：可开门进屋的可交互 Gaussian Splatting 场景 — taiyasaki · 2026-10-21
- TUM 论文揭示大模型组合任务隐式分配思考预算致错误率上升 — TUM · 2026-10-21
- Meta OverSeer 论文:固定辅助视角提升多智能体世界模型一致性 — meta · 2026-10-21
- Wired:OpenAI 投资脑植入物检测癌症初创公司 — wiredmagazine · 2026-10-21
- Hugging Face 发布 SimReady Central:开放机器人仿真 3D 资产库 — Hugging Face Blog · 2026-10-21