港中文阿里团队提出 OmniVChat:合成数据训出原生音视频对话能力
机器之心 · wechat · 2026-09-28
香港中文大学、Alibaba TokenHub、上海交大等团队发布 OmniVChat,定义并攻克「原生音视频对话」:模型直接同时接收用户音频和视频,无需文本问题、字幕或语音转写,能结合语气、表情、镜头朝向理解处境。
针对真实音视频对话数据稀缺、评判标准缺失两大难题,团队提出「为了理解而生成」路线,构建三件套:多智能体数据引擎 OmniVChat-Studio(Director/Renderer/Reviewer/Validator 四个智能体合成带参考回复和分层评分标准的单轮与多轮对话)、2800 条评测基准 OmniVChat-Bench(覆盖连接感知、实体对齐、自我认知、反幻觉、情绪识别五大类 17 子类)、以及把评分标准直接变成奖励的强化学习方案 OmniVChat-RL。
基座为 Qwen3-Omni-30B-A3B-Instruct。关键结论:仅用合成数据做强化学习,模型在 OmniVChat-Bench 上从 0.465 升至 0.652,在完全未参与训练的真人录制集上也从 0.402 升至 0.632,证明合成训练可高度泛化到真实交互场景。论文、数据集与代码均已开源。
「研究」频道最新
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- TotalSegmentator 单 GPU 56 秒分割 117 个解剖结构 — MaziyarPanahi · 2026-11-16
- LatamGPT 开源 1.78 亿文献语料,覆盖拉美三语 2900 亿 token — OmarUFlorez · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16