vLLM-Omni 首日支持 AURA 2.0:9B 流式视频模型主动开口对话

vllm_project · x · 2026-11-18

vLLM 项目宣布在 vLLM-Omni 中提供 AURA 2.0 的 Day-0 支持。AURA 2.0 是一个 90 亿参数的流式视频模型,能观看实时画面、主动发起相关对话并根据所见采取行动:支持模型自主决定何时说话(无需等待提问)、结合实时场景与对话进行流式工具调用并将结果带回对话、以及交互式视觉定位(用与帧对齐的框指出讨论中的物体)。

性能上,vLLM-Omni 打通从语音识别到视频语言推理再到语音生成的全链路,配合会话与前缀复用、静默轮次快速路径、句级语音交接等优化,在双张约 140GB 加速器的单会话设置下,首个语音回复包的中位延迟仅 344 毫秒。在 IPIBench、StreamArena、ProactiveVideoQA 等四项聚合基准的综合对比中,AURA 2.0 均领先。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →