论文:扩散模型 RL 后训练的收益九成来自「激活转向」
Tuna Han Salih Meral · hf · 2026-11-21
Virginia Tech、fal、Georgia Tech 与 IBM Research 的论文发现,RL 后训练对扩散 Transformer 的大部分质量提升,可以用一组固定的 steering 向量(激活转向)复现:- 在 SD3.5-M 上,这组向量参数量仅 0.29M,比 RL 微调的 LoRA(18.8M)少 65 倍;- 向量对所有 prompt、token、采样种子完全相同,无输入依赖,却恢复了 6 个 RL 微调图像模型 90.0–96.3% 的奖励增益,两个 RL 微调视频模型上达 89.8% 和 111.9%;- 从零初始化、在线 RL 训练后,仅靠向量就在文本渲染(OCR)与人类偏好(PickScore)上超过基于权重的 RL。结论:policy-gradient RL 后训练的大部分增益来自对预训练生成器的恒定偏移,而非学习到新的输入相关变换。
「多模态」频道最新
- Meta AVTR:让多模态模型学会「视觉想象」,16 基准平均提升 4.5 分 — liuzhuang1234 · 2026-11-21
- DeepMind Genie 4 世界模型上线 Comfy 可直接试玩 — EnvironmentalDay7419 · 2026-11-21
- 用CUT+本地ComfyUI拍出Roblox风恐怖短片,工作流公开 — rileygstaliger · 2026-11-21
- AI 重制《办公室》名场面:Michael Scott 对坐 Mr. Bean 爆笑出圈 — alanskimp · 2026-11-21
- 2026 AI 歌曲大赛决赛 14 强出炉,Stable Audio 团队两支队伍入围 — jordiponsdotme · 2026-11-21
- MiniMax H3原生编辑实测:无需Ripple直接换角色换装 — smereces · 2026-11-21