Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
Yunhang Shen, Zhangquan Chen, Xiaotian Li, Zhongpeng Cai, Qing Zhou, Zekai Zhang, Kun Zhang, Zezhong Wu, Jian Hu, Haihan Gao, Heting Gao, Xin Li, Yinsong Liu, Deqian Jiang, Di Yin, Haoyu Cao, Xing Sun, Bing Liu, Yanqiu Qu, Yunfei Wu, Kun Yin, Zhixiang Wei, Yongxiang Hua, Qianyu Li, Xiaoxing Hu, Peiyuan Zhang, Lijiang Li, Dong Xu, Zhenchuan Yang, Yiliang Jiang
cs.CV
2026-10-29
腾讯开源的 5B 模型用一套共享编码器和统一 schema 覆盖文档图像音视频十种解析任务,OmniDocBench 96.96 创 SOTA,音频视频分项领先全部开源模型。
Agent 处理的信息大多是文档、图像、音频、视频,不是纯文本。让主模型直接吃像素和波形,代价高也难审计:每次重看都要重新编码长长的视觉音频 token 序列,答案也指不回支撑它的区域或时间段。解析(parsing)从源头解决:把每份输入一次性转成结构化文本记录,内容用边界框或时间戳锚定,任何 LLM(包括纯文本模型)都能读这份记录并溯源。
但解析器一直是碎片化的:文档解析器在标准页面上很强,化学结构和乐谱交给专用模型,音频视频解析最近才被形式化成任务;不同输入配不同模型、不同输出格式,而用户要的东西是一样的——里面有什么、在哪、何时。统一进一个模型有两道坎:感知上,全模态模型用各自预训练的视觉、音频双塔,编码器内部既不融合也不共享时间轴;训练上,十个任务输出字段各异,优化目标难写。
设计可以概括成「一个编码器、一个 schema」。
Youtu-Omni-Encoder 用单个共享 Transformer 替掉视觉塔加音频塔,权重从预训练的 Qwen3-0.6B-Base 初始化。用文本语言模型初始化,是保留「把上下文映射成符号」的权重,而解析的核心恰恰是把文本、公式、SMILES、乐谱读成符号;模态相关的只剩两端的输入 stem 和输出投影层。位置编码是关键:旋转频率预算切成 T/H/W 三段,视觉 token 的 t 取帧序号、音频 token 的 t 取时间偏移,同一瞬间的画面和声音共享同一条时间轴;再由几层 fusion 层让帧按时间窗注意到并发的音频,把音视频对齐从语言模型前移进感知。OmniSchema 则让全部十个任务(文档、自然图像、化学结构、乐谱、图表、流程图、几何图形、音频、自然视频、富文本视频)输出同一种 JSON:图像任务用带边界框的 elements,音视频任务用秒级时间戳加说话人 ID 的 segments,每条内容都锚到来源区域或时间段。
训练分四段预训练(共 2.24T token):先冻结解码器只训编码器做感知对齐,再全参数原生分辨率训练,之后退火,最后长上下文扩展(128k token、512 帧)。后训练三步:SFT 立住输出格式,schema-routed RLVR 用 GRPO 加可验证奖励做序列级优化,最后 OSAD 做 token 级精修。OSAD 的机制:学生在冻结底座上加 LoRA、用自己生成的样本训练;教师是同一 checkpoint 的冻结副本,唯一特权是多看到参考解析;在同一条生成前缀上,教师的下一 token 分布当目标。因为所有输出都走 OmniSchema,每个 token 可标角色:内容 token(可能有多个正确答案)用对称 JS 散度,结构 token(JSON 键与标点)用更高温度软化后的前向 KL。每轮结束,学生权重合并回去变成下一轮教师,监督和解析器共同进化,共六轮,不需要手工设计奖励,也不需要单独训练教师。
| 基准 | 指标 | Youtu-Parsing-Omni | 最强对照 |
| OmniDocBench v1.6 | Overall | 96.96(第一) | TeleOCR 96.91 |
| OmniParsingBench | 五分项均值 | 75.08 | Gemini-3-Pro 77.44(API);Logics-Parsing-Omni 72.26 |
| ChemOCR | 化学指纹精确匹配 [email protected] | 54.2 | DeepSeek-OCR 2 49.6 |
| PDMX-Synth 乐谱 | CER,越低越好 | 22.73 | 专用模型 LEGATO 23.30 |
| PureDocBench | Avg3 | 76.29(端到端组第一) | TeleOCR 78.41(多阶段组) |
优势并不均匀:三个时间性分项上,它领先 Logics-Parsing-Omni(30B MoE 解码器)音频 2.5、自然视频 6.8、富文本视频 10.3;静态分项落后,自然图像 62.84(−4.7)、几何 74.33(−2.0)。图表解析 95.02,是包括 Gemini-3-Pro 在内所有系统里的最高分。两个消融最值得看:同样 300B token 预算下,文本 LM 初始化让共享编码器在 OCRBench 上多拿 130.6 分(767.0 对 636.4),而从头训的版本反而在考空间关系的 BLINK 上领先 9.5 分,说明初始化迁移的是读符号的能力,不含空间推理;OmniDocBench 上 SFT 之后共涨 1.99 分,OSAD 贡献 1.75(88%),RLVR 只有 0.24。另外,Video-MME-v2(无字幕)上它的 L1(跨帧信息聚合)拿到 20.0,领先所有非思考基线至少 5 分,到需要推理的 L2/L3 就只与非思考模型打平。
代码权重开源,单个 5B 稠密 checkpoint 用十种任务替掉一排 OCR、乐谱转写、图表识别专用模型。输出是带锚点的 JSON,不是自由文本,可以直接进 RAG 和 agent 流程,结论能溯源。文档 SOTA 本身要冷静看:对 TeleOCR 只领先 0.05 分,更接近打平;真正的收益是加上音频视频之后没有牺牲文档深度,而且优势恰好落在共享时间轴该起作用的地方——自然视频时间定位 63.68,领先 Gemini-3-Pro 4.21 分。OSAD 这套配方对任何「标量奖励难写」的结构化输出模型都有复用价值。
论文自己承认的:还没做推理加速,前代 Youtu-Parsing 可以复用编码器特征做并行区域解码,这代没有;ASR 全面低于对比模型,音频分项 77.94 为组内最低,自然视频 67.80 落后 Gemini-3-Pro 约 16 分;自然图像知识识别(13.90 对 21.39)与几何关系(46.77 对 64.24)输给 Logics-Parsing-Omni;Video-MME-v2 的 L2/L3 在没有思考模式时没有优势。读评估设置还有一点要存疑:OmniParsingBench 发布时没有完整评测工具,作者自建工具重打分,剔除了相机视频子集和 136 个样本并修正了部分标注,数字在论文表内可比,但没法与该 benchmark 官方公布数字互查,75.08 对 72.26 的领先要打个折扣。