vLLM-Omni 首日支持 AURA 2.0:9B 流式视频模型主动开口对话
vllm_project · x · 2026-11-18
vLLM 项目宣布在 vLLM-Omni 中提供 AURA 2.0 的 Day-0 支持。AURA 2.0 是一个 90 亿参数的流式视频模型,能观看实时画面、主动发起相关对话并根据所见采取行动:支持模型自主决定何时说话(无需等待提问)、结合实时场景与对话进行流式工具调用并将结果带回对话、以及交互式视觉定位(用与帧对齐的框指出讨论中的物体)。
性能上,vLLM-Omni 打通从语音识别到视频语言推理再到语音生成的全链路,配合会话与前缀复用、静默轮次快速路径、句级语音交接等优化,在双张约 140GB 加速器的单会话设置下,首个语音回复包的中位延迟仅 344 毫秒。在 IPIBench、StreamArena、ProactiveVideoQA 等四项聚合基准的综合对比中,AURA 2.0 均领先。
「Infra」频道最新
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22