MARTINI：混合廉价代理奖励，无需重训即可引导扩散模型
KristaSinkovics · x · 2026-10-21
研究团队发布论文 MARTINI（Steered Not Stirred），解决一个核心问题：如何把预训练生成模型引向一个在推理时无法评估的"黄金"奖励分布。
- 目标是匹配 oracle 加权分布 q(x) ∝ p₁(x)exp(βR(x))，但真实奖励 R（如人类判断、实验测量）昂贵或不可得，只有廉价但不完美的代理奖励。
- MARTINI 从少量离线反馈中学习代理奖励的组合 g(R₁,…,Rₘ)：数值型反馈用回归目标，偏好排序用 Plackett–Luce 目标，统一在同一个框架下。
- 学到的组合可直接插入标准推理时引导方法，用于预训练扩散/流模型，无需重训生成器。
- 理论部分刻画了代理信息极限，给出小倾斜强度下恢复误差与理想目标 KL 的关系；实验在语言生成和 ImageNet 对齐上提升了 oracle 倾斜保真度。
- 作者指出这不是多目标优化：单一代理可能完全错过目标，而学习组合能找回被个体代理遗漏的行为。
所属事件:MARTINI 算法：混合代理奖励引导生成模型，无需重训(3 条相关)→
「研究」频道最新
- CellType 发布 CT-Translate:临床前数据预测免疫治疗患者应答 — david_van_dijk · 2026-10-21
- 中科院团队提出 Slot-JEPA:以对象槽结构改进潜空间世界模型 — China666 · 2026-10-21
- Adobe 联合 KAIST 发布 VideoMaMa++:扩散模型实现长视频时序一致抠像 — adobe · 2026-10-21
- 用 Rust 开发玩具 LLM：Candle 还是 Burn？作者纠结框架选型 — Enderlook · 2026-10-21
- 给小模型配一张「地图」：Reddit 构想用外部知识库替代巨量参数 — FluidModeNetwork · 2026-10-21
- 单个广播机位还原篮球全场3D回放：含球员裁判追踪 — Roger_M_Taylor · 2026-10-21