MOSS推进情境多模态理解
机器之心 · wechat · 2026-07-14
## 核心主线 这篇文章认为，多模态模型的下一步不只是“接入更多模态”，而是把语音、视频、文本等信息汇入统一的持续上下文，去理解连续变化的真实情境。 ## 主要发布 - **MOSS-VL-Realtime**：面向实时视频流理解，支持边看边答、信息不足时保持沉默、画面变化后及时修正，目标是把视频理解从“看录像”推进到“看直播”。 - **MOSS-Transcribe-Diarize-0.9B**：多说话人转写模型，把转录、说话人归属和时间戳统一到一次生成任务里，支持最长约 90 分钟音频输入。 - **Mossland** 与 **Moss开放平台**：前者面向创作者提供音视频 AIGC 工具，后者向开发者开放语音合成、识别、音视频理解等 API。 ## 技术与效果 - MOSS-VL-Realtime 采用交叉注意力、绝对时间戳、XRoPE 和 256K 上下文等设计，支持更长视频与更高帧率输入。 - 文章称其推理吞吐较 Transformers 原生实现提升 **4.57 倍以上**，在同用 SGLang 时相较 Qwen3-VL 提升 **5.48 倍**。 - MOSS-Transcribe-Diarize-0.9B 在 AISHELL-4 上给出 **CER 14.19%**、**cpCER 14.98%**、**Δcp 0.79** 的结果，并加入热词增强能力。 ## 其他信息 - 文中提到多个模型在 Hugging Face Trending 和相关基准上取得较好成绩。 - 作者将这一系列发布概括为：从“识别孤立内容”走向“理解完整情境”。