Qwen 团队发布 OmniVChat:原生音视频对话的数据引擎与基准
Qwen · hf · 2026-09-21
Qwen 团队在 Hugging Face 发布 OmniVChat 研究,定义「原生音视频对话」任务:omni 模型直接同时接收用户的音频和视频并返回文本,提问嵌入在音视频流中,无需单独文字输入、外部字幕或语音识别,从而降低延迟并保留感知线索。
研究针对两大瓶颈给出方案:
- 数据稀缺:真实设备使用录音稀少,推出 OmniVChat-Studio 多智能体数据引擎,合成单轮与多轮音视频对话;
- 评估困难:好的回复需结合用户环境、表情、周围物体,且表达方式多样,关键词匹配不可靠。据此构建 OmniVChat-Bench,覆盖五大能力类别;另有人工录音的 OmniVChat-Bench-Human 用于验证。
还提出 OmniVChat-RL 强化学习奖励设计,同时优化回复的正确性、效率与风格。用合成数据训练 Qwen3-Omni-Instruct 后,在两个 benchmark 上均有提升,证明奖励设计有效且能迁移到真实对话。
「多模态」频道最新
- Runway 上线 Seedance 2.5:视频生成最高支持 4K 输出 — runwayml · 2026-11-12
- Recraft 更新矢量生成：曲线更顺滑直线更直，Vectorizer Pro 全员可用 — aziz4ai · 2026-11-12
- Fable 5.2 实测生成细菌鞭毛马达视频,输出质量惊人 — Dr_Singularity · 2026-11-12
- MiniMax H3 Image 对比 MOSS Image：6 步出 16MP 对阵 50 步 2MP — zmarcoz2 · 2026-11-12
- 把 AI 生图当片场用：Intangible Canvas 场景编辑实测 — umesh_ai · 2026-11-12
- 先在 3D 里定机位再生成视频:Mars 场景工作流实操分享 — umesh_ai · 2026-11-12