自适应奖励路由:用前向过程 RL 联合优化音视频扩散模型多目标
_akhaliq · x · 2026-10-03
论文提出 Adaptive Reward Routing,用于在联合音频-视频扩散模型的前向过程强化学习(DiffusionNFT)中动态适配更新位置与奖励组合。方法包含两部分:
- 跨模态影响引导路由:利用双向跨注意力响应作为跨模态影响的代理指标,动态重加权 token 级损失并缩放跨模态层梯度,无需额外模型干预即可定位奖励更新应作用的位置。
- 保偏好模态感知重加权:将预设权重作为偏好先验保留,用分支特定的奖励梯度交互在预热后做残差修正,避免强势奖励压制弱但关键的目标。
实验显示在模态质量、语义一致性和音视频同步性上均优于强 RL 基线,消融与机制分析验证了两组件的互补收益。
所属事件:腾讯提出自适应奖励路由优化音视频联合扩散(2 条相关)→
「多模态」频道最新
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19
- AI 生成「机器人神父」低垂双手祈祷,教堂场景以假乱真 — MrWoohoo · 2026-11-19
- AI 复刻 80 年代手绘动画风格短片《守门人》第一集 — oultimobuilder · 2026-11-19
- AI 生成 ARC'TERYX 户外广告片,运镜配乐调色被赞近完美 — gen_ericai · 2026-11-19
- AI 动画短片《Solar Ascendant》:超级英雄猴飞越末日都市 — Solaris-Frame · 2026-11-19
- AI 视频让蒙娜丽莎、梵高、达利跨世纪同框,网友直呼离谱 — sebpaquet · 2026-11-19