腾讯发布 WeMM-Video:2B 至 35B 多规格全模态视频模型

ExponentialCookie · reddit · 2026-11-20

腾讯发布 WeMM-Video 全模态多模态大模型家族,提供 2B、4B、9B、35B-A3B 多种规格,论文已上 arXiv(2611.26409)。

模型可结合视频画面与原始音轨进行事件描述、语音转写和视听联合推理,也支持无声视频、纯音频、图像与文本输入,可输出中英文。架构上,视觉与音频编码器将媒体转为 token 交由语言模型处理,视频帧带时间戳;预训练用了约 1.2 万亿多模态 token,后训练包括多教师 OPD、防重复的 MrDPO 和专项强化学习。

所属事件:腾讯联合清华开源 WeMM-Video 全模态视频模型家族(2 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →