不等提问先开口:华为 AURA 2.0 让流式视频模型主动搭话、边看边调工具

Beyond Answering: Learning to Speak First and Act in Streaming Video

Shuhan Li, Huankang Guan, Xintong Guo, Yang Bo, Yuyang He, Dunyuan Xu, Jingyan Chen, Fang Liu, Tsz Kin Wan, Jinpeng Chen, Zhenqi He, Yuxuan Hu, Wenbo Li, Han Gao, Qijun Li, Long Chen, Hongsheng Li, Rui Liu

cs.CV, cs.AI

2026-11-13

华为流式视频模型 AURA 2.0 加入主动发起对话、流式工具调用与视觉定位,PhoStream 65.69 分居首,超最强基线 9.54 分。

这篇在解决什么

流式 VideoLLM(逐 chunk 处理持续到来的视频流、自己决定何时响应的模型)这两年进步很快,但交互协议没变过:用户提问或下达监控指令,模型决定立即答、等证据凑齐再答、还是分几次答,没人提问就保持沉默,哪怕画面里出现了明显值得说的事。AURA 2.0(Huawei Research 联合 CUHK MMLab、HKUST)把「何时说话」扩展成「要不要主动开话题」:模型从演进的画面和对话历史里自己发现值得讨论的内容、自己挑时机开口。论文的横向对比表里,五个同类流式模型在这项能力上全部标空;作者称此前没有模型被训练成无需任何先验请求就发起开放式对话。

方法

架构沿用前代 AURA:视频一秒一个 chunk,每个 chunk 模型输出 <|silent|>(继续观察)或 <|respond|>(跟一段回复、一次工具调用或带框回复),三个新能力都装进这个统一格式:

训练数据扩展到 484,459 个样本、11.43B tokens、5,400 小时视频、4,000 万帧。继承的三类 QA 仍占大头(Real-Time QA 34.2%、Proactive QA 22.1%、Multi-Response QA 12.4%),新任务 MIC 11.8%、IVG 9.8%、SATC 5.3%。MIC 数据由 MLLM 挑选开口时机和内容,IVG 从约 5.5 万条 MeViS、Refer-YouTube-VOS 等数据集的 grounding 轨迹改写,合成后经结构检查加逐样本 MLLM 验证过滤。训练从 Qwen3.5-9B 初始化做全参 SFT(视觉编码器冻结),三阶段课程:先打底流式交互加工具使用,再引入 MIC、IVG 并回放 65.3% 的旧数据防遗忘,最后用混合能力样本收尾,全程约 1,100 加速卡时。

响应控制的类不平衡处理是全文最值得抄的细节:三个阶段里 <|silent|> 都占监督控制决策的 94% 以上,平均每个 clip 有 24 到 42 个沉默步,普通交叉熵会教出永远闭嘴的模型。做法是只对两个控制 token 加 focal 因子(γ=2),沉默与响应两类各自取类内均值、各配 0.25 权重,其余 token 用权重 1.0 的标准交叉熵,不用单独的响应分类器,也不用 RL。长视频靠 LHIM:激活视觉窗口固定 30 秒,窗外视频按 30 秒切片,由独立的摘要 MLLM 压成带绝对时间戳的事件级 QA 对,更早的记录按 5 分钟、10 分钟阈值逐级合并成粗摘要,视觉上下文不随会话时长增长。

结果

基准指标AURA 2.0最强对照
PhoStreamOverall65.69Doubao-Seed-1.8,56.15
StreamArenaProactive12.8%MOSS-VL-Realtime,11.8%
StreamArenaTool Use18.5%MiniCPM-o 4.5,17.1%
ProactiveVideoQAWEB(ω=0.5)58.8MOSS-VL-Realtime,55.4
IPIBench主动任务管理均值24.99%全场最高(含闭源模型)

PhoStream Overall 超 Doubao-Seed-1.8 达 9.54 分,Forward 任务领先 MOSS 37.95 分,早答率 1.30%(MOSS 为 41.51%、JoyAI 高达 94.93%),时机控制确实学进去了;代价是漏答率 23.9%。IPIBench 的 Timing 49.30% 接近 GPT-4o(50.59%),任务管理均值超过所有闭源模型。ProactiveVideoQA 四类里三类领先,TV 类对话理解输给 MOSS(49.3 对 50.2),没有全面赢。

三个新能力的定向评测都在内部小集上。MIC-Bench(25 个视频,gpt-4o 评分):有对话上下文时,标注窗口内触发率 80%(20/25)、质量 4.10/5;纯视觉时触发率升到 96% 但质量掉到 3.62/5,173 条消息里 93 条 Good、15 条 Bad,每分钟开口 3.0 到 3.5 次。SATC 在 167 题上,开工具把准确率从 35.9% 提到 48.5%(+12.6 个百分点),41.3% 的问题触发了调用。IVG 在 50 张 COCO 图上 mIoU 0.906,对底座 Qwen3.5-9B 的 0.635,提升几乎全来自少漏框(37/37 对 26/37),两边都出框的 26 题上 IoU 持平(0.906 对 0.903);目标缺失时的正确弃权反而退步(11/13 对 13/13)。

推理侧,单会话首 token 157ms、首音频包 344ms,16 路并发下首音频包 601ms、RTF 0.203。三项 serving 优化把单会话 TTFP 从 758ms 压到 344ms(降 54.6%),其中会话级帧缓存贡献约 86%。

为什么重要

主动交互是流式视频真正落地的形态:眼镜、车载、监控场景里用户不会一直发问,助手得自己判断什么时候值得插话。此前开源模型的「主动」停留在响应用户预设的监控规则,AURA 2.0 把无先验请求的开放式开口做成了训练出来的能力,并开源了代码和模型。对做流式系统的团队,响应控制的 focal loss 配方、LHIM 式分层记忆、serving 级的延迟优化都可以直接搬。基准成绩在开源流式模型里属最强梯队,但对 JoyAI 和 MOSS 的领先多在个位数百分点,是稳步推进,不是代差。

局限与存疑

作者自述两条:MIC 的有用性天然主观,依赖用户对话题、时机、频率的偏好,目前没有接入用户偏好建模;级联 ASR-VideoLLM-TTS 管线不能边听边说,全双工留作未来工作。另有几处要打折扣:MIC-Bench 是 25 个视频的内部集,未公开,质量全由 gpt-4o 裁决;纯视觉设置下质量降到 3.62/5,说明没有用户兴趣锚点时选题能力明显下降;MIC 训练数据的开口时机由 MLLM 合成再过滤,与真实用户偏好的对齐没有验证。IVG 在目标缺失时比底座更容易硬给框。核心卖点的公开背书只有四个基准,主动开口这件事本身只有内部评测支撑。

术语

原文与代码

相关论文

全部论文解读