OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
Haolin He, Yunfei Chu, Qi Chen, Wen Huang, Yuan Feng, Muzhi Zhu, Zheqi Dai, Haoning Xu, Dongchao Yang, Chunyat Wu, Zining Liang, Zhengxi Liu, Xiquan Li, Xie Chen, Xize Cheng, Qize Yang, Jin Xu, Qiuqiang Kong
eess.AS, cs.AI, eess.IV
2026-09-18
港中文与阿里用多智能体合成原生音视频对话，GSPO 微调 Qwen3-Omni 后合成评测从 0.465 升到 0.652，360 条真人手机录像从 0.402 升到 0.632，回复从 79 字压到 36 字。
Omni 模型可以同时吃音频和视频，但公开数据里，真人拿自己的手机自拍、边走边问、带着环境噪音的原生对话很少。现有系统多半先把语音转成文字，再交给视觉模型。韵律、停顿、情绪被丢掉，还多一截延迟和转写错误。
评测同样卡住。好回复要看杯子上的图案、用户相对镜头的左右、脸上的表情，同一意思能写成很多种句子，关键词匹配打不准。港中文、阿里 Token Hub、上交把这件事收成一个任务：OmniVChat。用户的问题嵌在音视频里，模型直接回文本，不另给文字问题，不外挂字幕，也不走 ASR。
三条线绑在一起：合成引擎、评测集、强化学习奖励。
OmniVChat-Studio 是四智能体流水线。Director 管文本规划与审核，Renderer 把通过的脚本渲成同步音视频（1080P、44.1 kHz 立体声），Reviewer 写 caption 和七项质量报告，Validator 按配置做确定性检查。单轮路径是抽样属性、写脚本、渲染、对照画面写参考回复和分层 rubric。多轮把已通过的前几轮 clip 当历史，后轮用前轮视频、音频或末帧做引用。属性按配置抽：中英比例、22 个场景域、14 种机位、噪音等级。修坏了不改当初抽到的属性，避免难样本被修成简单样本。每条修路有预算，用尽就丢弃整次运行。
评测用分层 rubric。Tier 0 检查回复是不是用户的语言，本身不计分，不过关整题零分。后面每一层要先过完前面所有条件才能拿分。判分模型是 qwen3.7-max。总分是拿到的点数除以 Tier 0 以外的条件数。主指标 Subcategory Mean 先在每个子类内平均，再对 17 个子类等权。
训练侧拿 Qwen3-Omni-30B-A3B-Instruct 的 Thinker，用 GSPO 做 rank-64 LoRA。GSPO 用整段回复的似然比做重要性权重，对 MoE 更稳。每个输入采 4 条回复，优势函数减组内平均奖励，不做标准差归一化。总奖励是 rubric 分（权重 1）加格式 0.5、效率 0.1、风格 0.5。效率是同一组里「分数/字数」的组内归一化，不设固定长度目标。风格由 qwen3.7-max 按七条口语化准则打 0 或 1。训练 1000 步，每步 32 个输入，step 940 按开发集入选。
评测集 2800 条合成对话（2550 单轮、250 多轮），中英约 37%/63%，覆盖 5 类能力、17 子类、22 个场景。训练另有 5600 条合成对话，开发集 560 条。真人探针 OmniVChat-Bench-Human 是 360 条中文手机录像，12 个单轮子类各 30 条，不进训练。
| 系统 | 合成 Mean | 真人 Human | 每千字得分 | Style | 回复长度 |
| Qwen3-Omni-Instruct | 0.465 | 0.402 | 5.75 | 0.710 | 79 字 |
| OmniVChat-RL | 0.652 | 0.632 | 18.38 | 0.992 | 36 字 |
| Gemini-3.5-Flash | 0.667 | 0.509 | 10.59 | 0.755 | 未报 |
| Gemini-3.7-Flash | 0.640 | 0.575 | 16.96 | 0.631 | 未报 |
训练中 rubric 奖励从 0.308 升到 0.629，风格从 0.750 升到 0.992，平均回复从 91.5 字降到 36.6 字。合成中文子集从 0.437 到 0.634，真人集从 0.402 到 0.632，两条曲线贴着走。
去掉效率项，Mean 升到 0.697、Human 到 0.691，回复涨到 99 字，每千字得分掉到 7.12。去掉风格项，Style 从 0.992 掉到 0.788。完整奖励是在正确、短、像人说话三者之间折中。Gemini-3.5-Flash 仍以 0.667 略高合成 Mean；真人集上自家模型 0.632 超过 Gemini-3.7-Flash 的 0.575。合成排名和真人排名不是同一张表。
分项里，反幻觉从 0.186 跳到 0.667，自我认知从 0.388 到 0.734；情绪识别从 0.694 掉到 0.651。压短回复会伤到需要安抚语气的题。对话状态与机位这一类仍偏弱，0.573，Gemini-3.5-Flash 在这类上是 0.623。
「生成服务理解」被走通了一截：合成对话能训、能测，分数还能迁到真人手机录像。对做语音视觉助手的人，分层 rubric 比关键词匹配更适合开放回复；效率项把回复从 79 字压到 36 字，这是产品会直接感知的变化。
还没到能替换闭源第一名的程度。合成 Mean 上 Gemini-3.5-Flash 仍高一截。增益来自对 Qwen3-Omni 的 LoRA，换底座要重跑。
真人探针只有中文单轮，没有多轮，也没有测实时打断和延迟。多轮评测只打最后一轮回复，前面几轮喂的是参考回复。合成与真人分数接近，推不出分布已经对齐。
判分全靠 LLM。六个 judge 对同一批 2773 条 Gemini 回复的 pooled 分差 0.034，Cohen's κ 从 0.532 到 0.845。论文写明，没有用别的 judge 重测 0.465 到 0.652 的增益。Renderer 具体是哪家视频生成模型，正文没有点名。代码和数据写的是「将公开」，投稿时还没放。
合成视频会出畸形手臂，靠换 seed 和重写 prompt 过关，人类检查员再滤一轮。生成质量的上限仍然卡着数据长尾。JoyAI-VL-Interaction 走 ASR 级联对照，分数低于原生音视频输入的 Qwen3-Omni，但级联系统只评了一家。