AURA: AUdio-dRiven streaming Avatar
Nathaniel Cohen, Nicolas Dufour, Amélie Royer, Alasdair Newson, Patrick Pérez
cs.CV, cs.AI
2026-11-20
把 5B 双向说话人扩散模型蒸馏成 4 步流式学生,1.3B 版单卡实时出 576p,5B 版 720p 提速 17 倍,权重开源。
TalkVerse、Wan-S2V、Hallo3 这类音频驱动扩散模型,从一张参考图加一段语音就能合成自然的说话视频,质量已经不是瓶颈,瓶颈在形态。双向注意力要求攒好几秒音频、对整块视频跑几十步去噪才出第一帧,单卡上生成一个几秒的块要分钟级时间,还依赖未来音频。语音助手、虚拟主播、游戏 NPC 要的是相反的性质:音频边到边生成、显存恒定、能无限续。此前往流式方向推的工作(Talking Machines、Live Avatar、SoulX-FlashTalk)把模型做在 14–18B,单卡只有约 2fps,Live Avatar 官方设置要 5 张 GPU 才到 16fps。另一个障碍是数据:公开说话人数据集的片段太短,盖不住教师模型约 5 秒的生成窗口,蒸馏的第一步都做不了。
AURA 把双向多步教师蒸馏成因果的 4 步学生,按块流式输出。教师是 TalkVerse(5B,基于 Wan2.2);1.3B 版的教师是作者用同一套流程在 Wan2.1-1.3B 上自训的。学生侧三处改动:
第三条决定显存。过去的块进 cache 时只存该块生成结束时最低噪声级别的 key/value,一份 cache 服务所有去噪步,显存为常数;在 cache 里保留多个噪声级别的做法(Live Avatar 一类)显存随步数线性涨。cache 还是滚动的:第一块永久保留当锚,类似 streaming LLM 的 attention sink,再加最近一块,其余淘汰,视频再长显存不变。
训练分两段。Stage 1 做 ODE teacher forcing:教师离线跑 50 步采样轨迹、存 5 个 timestep 的 latent,学生在因果 mask 下学从各噪声级别直接预测干净 latent,MSE 监督,先解决「学生与教师架构不一致、DMD 直接上不收敛」的问题。Stage 2 上 DMD(Distribution Matching Distillation,让少步学生在分布层面匹配教师),关键配合 backward simulation:学生先无梯度滚出自己的采样轨迹,再在这些中间状态上算损失,训练看到的输入分布和推理一致。DMD2 的 GAN 损失没沿用,理由是要真实视频且训练不稳。数据自建:TalkVerse 在 Hallo3 参考图加 LiveCC 转写加 TTS 语音的条件下生成 3 万条、38.7 小时视频,连同教师 latent 轨迹一起发布。两个学生都用 rank 128 的 LoRA 训练,5B 版在 64 张 H100 上,Stage 1 跑 12 万步,Stage 2 只要 5 千步。
主结果(HALLO3 TEST,单张 H100;1.3B 在此表按 480p/16Hz 评测,原生输出 576p):
| 方法 | 参数量 | 分辨率 | 去噪步 | 端到端 fps | FVD↓ | CSIM↑ |
| Hallo3 | 14.5B | 480p | 50 | 0.22 | 183.4 | 0.74 |
| Wan-S2V | 14B | 720p | 40 | 0.08 | 196.4 | 0.71 |
| TalkVerse(教师) | 5B | 720p | 50 | 0.58 | 210.8 | 0.74 |
| Live Avatar | 14B | 480p | 4 | 1.9 | 181.1 | 0.77 |
| AURA 5B | 5B | 720p | 4 | 9.7 | 195.5 | 0.79 |
| AURA 1.3B | 1.3B | 480p | 4 | 20.7 | 177.1 | 0.84 |
在论文对比的同类流式方案里,AURA 是唯一单张 GPU 实时还不掉质量的,权重、1.3B 教师、3 万条带教师轨迹的数据全部开放。1.3B 版已接进 Kyutai 的 Unmute 语音助手,单张 H100 跑完整的「语音对话 + 出脸」实机 demo。对数字人产品,这意味着从先生成后播放换成边说边出脸,5B 的块级延迟约 0.64 秒;对手要么不放开权重,要么要 4–5 张卡。也要说清:蒸馏主链路是 CausVid、DMD2 的路线搬进音频驱动场景,增量在流式音频条件、常数显存 cache 和数据工程,不在蒸馏算法本身。
论文自己列的:5B 版长生成身份会漂(一分钟 CSIM 0.76 到 0.69);1.3B 版受分辨率拖累,人类评测里视觉质量、唇同步、自然度都低于 5B 和教师;FID/FVD/JEDi 这类分布指标测不出局部伪影,Hallo3 指标全表最好但嘴部动作夸张、手部有伪影,这是他们补人类评测的原因。另外几点:1.3B 的教师只用 31 小时真实数据训练(TalkVerse 是约 6300 小时量级),1.3B 版的上限和它打败的基线都要打折看;全部速度都在 H100 上测;CelebV-HQ 测试集配的是 TTS 合成音频,对真实录音的泛化没有直接验证;并发的 Avatar Forcing 用类似蒸馏方案但需要音频前瞻窗,AURA 号称只要当前块的音频,两者没有直接对比。