腾讯优图发布 Youtu-Parsing-Omni:单编码器解析全模态
tencent · hf · 2026-10-30
腾讯优图在 Hugging Face 发布 Youtu-Parsing-Omni,一个统一的多模态解析器,用共享权重和跨模态融合,把文档、图像、音频、视频编码为结构化的时空记录。
- 架构:Vision stem 与 Audio stem 拼成单一输入序列,经共享 Transformer 块(含融合层)双向注意力编码,再由 Youtu-LLM 解码器输出统一的 OmniSchema JSON。
- 覆盖模态与任务:文档(Markdown/LaTeX/OTSL 表格)、自然图像(带定位的目标与文本)、图表(Mermaid/表格)、几何图形、化学结构(SMILES)、乐谱(ABC 记谱)、语音与环境声(时间轴 ASR)、音视频(事件/屏幕文字/语音时间线)。
- 训练:通过自进化的 on-policy 蒸馏流程训练,宣称在多个解析基准上达到 SOTA。
「多模态」频道最新
- 用 ChatGPT 里的 CapCut GPT,5 分钟搞定短视频脚本、剪辑和配音 — thisguyknowsai · 2026-10-30
- 北大团队提出 NeuOctree：直接预测光线交点的神经显式 3D 表示 — ssh4net · 2026-10-30
- 8GB 显存跑 MiniMax H3 视频转视频：832x640 渲染 19 分钟 — big-boss_97 · 2026-10-30
- 开发者把 NVIDIA Open-H3-Regenerate-2K 封装成 ComfyUI 节点，2 步将视频升至 2K — imlo2 · 2026-10-30
- 开源项目 Recast：把视频里的主播换成你，创作者可授权转售 — Less-Statistician45 · 2026-10-30
- agentY：住进 ComfyUI 的开源智能体，不拖一个节点也能出片 — Admirable-Agency-578 · 2026-10-30