AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具
Shuhan Li · hf · 2026-11-18
华中科技大学、港中大等团队联合华为发布 AURA 2.0 技术报告,一个能「先开口、再行动」的流式视频大语言模型,突破传统助手只在被提问时才回应的模式。三大核心升级:
- 模型主动对话(MIC):模型自行识别视频流中值得讨论的话题,无需用户查询即在合适时机主动发起对话;
- 流式感知工具调用(SATC):基于当前视觉与对话上下文调用外部工具,并把返回结果融入正在进行的交互;
- 交互式视觉定位(IVG):在用户输入和模型输出两端都支持视觉定位,可在视频帧上标记物体并生成带帧号的边界框链接到具体对象。
此外引入长时程交互记忆(LHIM)维持长视频流的上下文连续性,配套构建专门的流式交互数据集,采用三阶段训练方案整合新能力与既有流式交互能力。在公开流式 benchmark 上取得开源流式模型中的领先表现。
「多模态」频道最新
- 用 Claude 加 Unreal Engine 5.9 MCP,一天做出游戏续作原型 — TomLikesRobots · 2026-11-18
- Suno 推出 Visuals 功能,AI 音乐自动配 AI 生成的画面与视频 — The Decoder · 2026-11-18
- 像素修女跑动动画实战:用视频模型抽帧解决滑步难题 — Reyan999 · 2026-11-18
- 反其道的黑五营销:同一只马克杯,三张照片卖 4/18/80 美元 — LudovicCreator · 2026-11-18
- Midjourney 风格码 sref 3859897744 实测:厚涂插画感拉满 — sergeantsref · 2026-11-18
- 用两张低质参考图五分钟出电影级画面,Minimax-Image 实测惊艳 — GrungeWerX · 2026-11-18