阿里开源 TaoMate-H3:三步流式音视频联合生成,首段提速 27 倍
机器之心 · wechat · 2026-10-02
阿里巴巴 TaoLive AIGC 团队发布并开源音视频联合流式生成模型 TaoMate-H3,基于 MiniMax H3,将三步 LoRA 推理与自回归生成结合,可根据文本连续生成含人物对白、歌声和环境音的视频,支持分钟级续写和 480p/768p/1080p 横竖屏输出。
关键技术包括:三步 LoRA 压缩每片段去噪开销、SelfForcing 自回归训练缓解分布差异、滚动更新的音视频 KV 缓存维持长视频一致性、连续 RoPE 时间编码改善跨提示词衔接、音频轨迹引导稳定台词节奏。在 8×H20 上测试,相比原版 MiniMax H3,纯 DiT 计算耗时由 169.57 秒降至 14.81 秒(加速 11.45 倍),首段 latent 就绪时间由 170 秒缩短至 6.15 秒(加速 27.66 倍)。
演示覆盖电商讲解、人物演唱、动漫对白、环境特效等场景,推理代码与 LoRA 权重已在 GitHub 和 Hugging Face 开放。
「Infra」频道最新
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19