WTF 框架微调流模型,奖励对齐训练算力最高省 280 倍
yeewhye · x · 2026-09-27
Yee Whye Teh 等人发布论文《WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps》,提出对预训练流生成模型做奖励微调的新范式。
- 现有方法把奖励微调视为从 reward-tilted 分布采样(基于 KL 正则),只对基础分布重加权
- WTF 引入直接由预训练漂移构建的最优传输正则,把单个样本向高奖励区域输运而非重加权,并证明该问题等价于流上的确定性最优控制问题
- 由此得到首个原生面向 flow map 的端到端免仿真(simulation-free)RL 微调方法,无需事后蒸馏即可在少步推理下保持强奖励对齐
- 在 ImageNet-256 和文生图实验中,比基线获得更高奖励且多样性相当或更高,训练算力最多节省 280 倍
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16