腾讯SyncReward:8万条人工音画同步评分,奖励模型改善生成对齐
tencent · hf · 2026-10-15
腾讯微信与人大高瓴团队发布 SyncReward,针对音视频联合生成中语音/声音与画面时间错位的瓶颈。
- 数据:构建 SyncReward-Data-80K,含 8 万条专业同步评分,覆盖 8 个音视频生成器,按taxonomy 分 Speech、Onset、Instrument、Ambient 四类声音事件;另有 1K 片段、多人独立评分的 SyncReward-Bench。
- 发现:系统评测显示专用同步指标与全模态模型都与人类判断存在明显偏差。
- 模型:SyncReward 结合真实片段的语义-时间对比预训练与生成片段上的人类监督,作为评测指标与人类评分一致性最强;作为奖励,可通过 best-of-N 推理选择与 RL 后训练提升同步。数据、基准、模型与代码将开源。
「多模态」频道最新
- StreamErase 实现单 GPU 26 FPS 实时视频物体擦除,延迟降至 0.87 秒 — Zhuobai Dong · 2026-10-15
- Glance Forcing：单条轨迹蒸馏把视频自回归化成本降上万倍 — Zhuobai Dong · 2026-10-15
- 昆仑万维开源 Matrix-Game 4.0:单张 5090 实时可玩 AI 世界模型 — mishig25 · 2026-10-15
- 阿里 TaoLive 团队开源 3 步 LoRA,实现实时流式音视频生成 — linoy_tsaban · 2026-10-15
- 整段视频全由 Opus 5.5 Max reasoning 生成，未用任何 skills — Hesamation · 2026-10-15
- 微软开源 AesCode-32B：向图像生成学审美，产出可编辑 HTML 海报 — Powerful_Evening5495 · 2026-10-15