Kyutai 开源流式数字人:1.3B 单卡实时,快过教师 23 倍

AURA: AUdio-dRiven streaming Avatar

Nathaniel Cohen, Nicolas Dufour, Amélie Royer, Alasdair Newson, Patrick Pérez

cs.CV, cs.AI

2026-11-20

把 5B 双向说话人扩散模型蒸馏成 4 步流式学生,1.3B 版单卡实时出 576p,5B 版 720p 提速 17 倍,权重开源。

这篇在解决什么

TalkVerse、Wan-S2V、Hallo3 这类音频驱动扩散模型,从一张参考图加一段语音就能合成自然的说话视频,质量已经不是瓶颈,瓶颈在形态。双向注意力要求攒好几秒音频、对整块视频跑几十步去噪才出第一帧,单卡上生成一个几秒的块要分钟级时间,还依赖未来音频。语音助手、虚拟主播、游戏 NPC 要的是相反的性质:音频边到边生成、显存恒定、能无限续。此前往流式方向推的工作(Talking Machines、Live Avatar、SoulX-FlashTalk)把模型做在 14–18B,单卡只有约 2fps,Live Avatar 官方设置要 5 张 GPU 才到 16fps。另一个障碍是数据:公开说话人数据集的片段太短,盖不住教师模型约 5 秒的生成窗口,蒸馏的第一步都做不了。

方法

AURA 把双向多步教师蒸馏成因果的 4 步学生,按块流式输出。教师是 TalkVerse(5B,基于 Wan2.2);1.3B 版的教师是作者用同一套流程在 Wan2.1-1.3B 上自训的。学生侧三处改动:

第三条决定显存。过去的块进 cache 时只存该块生成结束时最低噪声级别的 key/value,一份 cache 服务所有去噪步,显存为常数;在 cache 里保留多个噪声级别的做法(Live Avatar 一类)显存随步数线性涨。cache 还是滚动的:第一块永久保留当锚,类似 streaming LLM 的 attention sink,再加最近一块,其余淘汰,视频再长显存不变。

训练分两段。Stage 1 做 ODE teacher forcing:教师离线跑 50 步采样轨迹、存 5 个 timestep 的 latent,学生在因果 mask 下学从各噪声级别直接预测干净 latent,MSE 监督,先解决「学生与教师架构不一致、DMD 直接上不收敛」的问题。Stage 2 上 DMD(Distribution Matching Distillation,让少步学生在分布层面匹配教师),关键配合 backward simulation:学生先无梯度滚出自己的采样轨迹,再在这些中间状态上算损失,训练看到的输入分布和推理一致。DMD2 的 GAN 损失没沿用,理由是要真实视频且训练不稳。数据自建:TalkVerse 在 Hallo3 参考图加 LiveCC 转写加 TTS 语音的条件下生成 3 万条、38.7 小时视频,连同教师 latent 轨迹一起发布。两个学生都用 rank 128 的 LoRA 训练,5B 版在 64 张 H100 上,Stage 1 跑 12 万步,Stage 2 只要 5 千步。

结果

主结果(HALLO3 TEST,单张 H100;1.3B 在此表按 480p/16Hz 评测,原生输出 576p):

方法参数量分辨率去噪步端到端 fpsFVD↓CSIM↑
Hallo314.5B480p500.22183.40.74
Wan-S2V14B720p400.08196.40.71
TalkVerse(教师)5B720p500.58210.80.74
Live Avatar14B480p41.9181.10.77
AURA 5B5B720p49.7195.50.79
AURA 1.3B1.3B480p420.7177.10.84

为什么重要

在论文对比的同类流式方案里,AURA 是唯一单张 GPU 实时还不掉质量的,权重、1.3B 教师、3 万条带教师轨迹的数据全部开放。1.3B 版已接进 Kyutai 的 Unmute 语音助手,单张 H100 跑完整的「语音对话 + 出脸」实机 demo。对数字人产品,这意味着从先生成后播放换成边说边出脸,5B 的块级延迟约 0.64 秒;对手要么不放开权重,要么要 4–5 张卡。也要说清:蒸馏主链路是 CausVid、DMD2 的路线搬进音频驱动场景,增量在流式音频条件、常数显存 cache 和数据工程,不在蒸馏算法本身。

局限与存疑

论文自己列的:5B 版长生成身份会漂(一分钟 CSIM 0.76 到 0.69);1.3B 版受分辨率拖累,人类评测里视觉质量、唇同步、自然度都低于 5B 和教师;FID/FVD/JEDi 这类分布指标测不出局部伪影,Hallo3 指标全表最好但嘴部动作夸张、手部有伪影,这是他们补人类评测的原因。另外几点:1.3B 的教师只用 31 小时真实数据训练(TalkVerse 是约 6300 小时量级),1.3B 版的上限和它打败的基线都要打折看;全部速度都在 H100 上测;CelebV-HQ 测试集配的是 TTS 合成音频,对真实录音的泛化没有直接验证;并发的 Avatar Forcing 用类似蒸馏方案但需要音频前瞻窗,AURA 号称只要当前块的音频,两者没有直接对比。

术语

原文与代码

相关论文

全部论文解读