论文:扩散模型 RL 后训练的收益九成来自「激活转向」

Tuna Han Salih Meral · hf · 2026-11-21

Virginia Tech、fal、Georgia Tech 与 IBM Research 的论文发现,RL 后训练对扩散 Transformer 的大部分质量提升,可以用一组固定的 steering 向量(激活转向)复现:- 在 SD3.5-M 上,这组向量参数量仅 0.29M,比 RL 微调的 LoRA(18.8M)少 65 倍;- 向量对所有 prompt、token、采样种子完全相同,无输入依赖,却恢复了 6 个 RL 微调图像模型 90.0–96.3% 的奖励增益,两个 RL 微调视频模型上达 89.8% 和 111.9%;- 从零初始化、在线 RL 训练后,仅靠向量就在文本渲染(OCR)与人类偏好(PickScore)上超过基于权重的 RL。结论:policy-gradient RL 后训练的大部分增益来自对预训练生成器的恒定偏移,而非学习到新的输入相关变换。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →