阿里 TaoLive 团队开源 3 步 LoRA,实现实时流式音视频生成
linoy_tsaban · x · 2026-10-15
阿里 TaoLive AIGC 团队发布 TaoMate-H3-FL2VA,基于 MiniMax H3 加 3 步 LoRA,号称首个实时流式「首尾帧到音视频」(FL2VA)生成模型。
关键特性:
- 3 步分块流式生成,配合音视频联合 KV 缓存,低 chunk 延迟
- 语音、音效与视频在同一条时间轴上联合生成,同步输出
- 清洁 KV 缓存与集成音频引导,支持跨 prompt 边界的长视频连续性(保持画面身份、声音与运动)
- 支持 480p/768p/1080p 横竖屏多分辨率
- 单节点推理,4 或 8 GPU(TP2 + Ulysses)
团队 9 月曾将 MiniMax H3 迁移到 TaoMate 做 T2AV 流式生成,完整的流式 FL2AV 与 Ref2AV 模型也在路上。模型已在 Hugging Face 开源。
「多模态」频道最新
- StreamErase 实现单 GPU 26 FPS 实时视频物体擦除,延迟降至 0.87 秒 — Zhuobai Dong · 2026-10-15
- Glance Forcing：单条轨迹蒸馏把视频自回归化成本降上万倍 — Zhuobai Dong · 2026-10-15
- 昆仑万维开源 Matrix-Game 4.0:单张 5090 实时可玩 AI 世界模型 — mishig25 · 2026-10-15
- 整段视频全由 Opus 5.5 Max reasoning 生成，未用任何 skills — Hesamation · 2026-10-15
- 微软开源 AesCode-32B：向图像生成学审美，产出可编辑 HTML 海报 — Powerful_Evening5495 · 2026-10-15
- 一句话指令 15 分钟出片,Fable 5.5 动画生成实测惊艳 — FinanceYF5 · 2026-10-15