腾讯 WeMM-Video 开源全模态视频模型,9B 版超越 30B 的 Qwen3-Omni

WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding

Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, Jinchang Xu, Fengyun Rao, Chao Zhang, Jing Lyu

cs.CV, eess.AS

2026-11-20

腾讯微信团队开源 2B 到 35B-A3B 四档全模态模型,用 1.2T token 训练,在 33 个音视频基准上追平 Gemini-3.0-Flash 以外的闭源模型。

这篇在解决什么

带声音的视频理解,开源模型一直做得不扎实。论文列出的毛病有三类:漏掉关键的音视频细节,把声音和对应的画面事件对不上,还会凭空编出视频里没有的跨模态内容(cross-modal hallucination,即模型说出画面或声音都不支持的结论)。直播带货、短剧分析这类真实场景恰好高度依赖音画联合判断。

另一个难点是数据。可验证的音视频推理数据在自然界里很稀缺,而基座模型本身又没有听觉。这篇的目标是一次交付一整个家族:2B、4B、9B 和 35B-A3B,中英双语,同时覆盖文本、图像、音频、视频,并且在不牺牲纯视觉和纯文本能力的前提下补上听觉。

方法

架构沿用 video-SALMONN 2 的思路。2B/4B/9B 分别以 Qwen3.5-2B/4B/9B 为底座,35B-A3B 以 Qwen3.6-35B-A3B 为底座。视觉编码器原样保留,音频侧新增一个 Whisper 系编码器(初始化自 Qwen2.5-Omni),再接一个窗口级 Q-Former(用少量可学习查询向量压缩特征的模块)。音频按 16kHz、30 秒切块,每 0.1 秒窗口压成 1 个 token,即每秒 10 个音频 token。带音频的视频里,视觉 token 与音频 token 按时间顺序交错,并插入文本时间戳,让模型自己对齐音画。

数据约 1.2T token,其中音视频联合数据占 45.4%,按任务看 captioning 占 37.7%。作者专门做了动作密集的视觉 caption(体育、电竞、舞蹈),以及电影、短剧、访谈、直播带货的音视频联合 caption,还构造了视频对比、配乐匹配、商品与广告一致性校验这类跨媒体任务。

预训练分三段:

后训练也是三段:

结果

评测覆盖 120 多个基准:音视频 33 个、无声视频 32 个、音频 18 个、图像 28 个、文本 12 个。

对比范围结果
35B-A3B(Thinking)vs Seed2.0-Mini-042817 个通用音视频理解基准领先 16 个
35B-A3B(Thinking)vs Qwen3.5-Omni-Flash同上领先 16 个
9B(Thinking)vs Qwen3-Omni-30B-A3B-Instruct、MiniCPM-o-4.5-9B多数通用音视频基准多数领先
4B(Thinking)vs 30B 级基线大多数基准超过
9B(Thinking)Video-MME(带音频)对 Gemini-3.0-Flash85.1 对 88.6
9B(Thinking)Video-MME-v2(带音频)对 Gemini-3.0-Flash51.6 对 63.2

与 Gemini-3.0-Flash 的差距在更难的 v2 版上更大。论文只说「逼近」,没有宣称超越。thinking 模式相对 instruct 模式在多数音视频理解与推理任务上有明显提升,但具体幅度论文用文字带过。

其余模态主要是持平:无声视频上 35B-A3B 与自己的底座 Qwen3.6-35B-A3B、Seed2.0-Mini-0428 相当,9B 在多数基准上持平或略超 Qwen3.5-9B;图像和文本同样与底座相当,并在指令遵循上有进一步提升。音频上 35B-A3B 在 MMAU-Pro、MMAR、MMSU 超过开源基线,与 Qwen3.5-Omni-Flash 相当。

为什么重要

对要做音视频应用的团队,这是目前少有的、带完整评测与复现流程的开源全模态家族,而且有 2B 到 35B-A3B 四档可选。9B 就能压过 30B 的 Qwen3-Omni,部署成本差距实在。

新意主要在工程配方:音频对齐、三段式后训练、反重复处理。架构本身是已有路线的延伸,属于扎实的渐进改进。

局限与存疑

术语

原文与代码

社区讨论

相关论文

全部论文解读