Meta 实时数字人技术细节曝光:蒸馏 60 倍加速实现实时无限视频生成

altryne · x · 2026-11-07

altryne 与 SecondThread 讨论 Meta 实时 avatar 的技术实现,并附上技术文档截图,纠正了此前「为每个用户单独训练 student 模型」的说法——实际是所有实时 avatar 共用蒸馏模型,以用户 Muse 图片作为条件参考(conditioning)。
配图文档展示了 Real-Time Infinite Video Generation 的核心方法:
从高质量双向 teacher 出发,通过 self-forcing + distribution matching distillation 蒸馏出固定长度 KV cache 的因果(causal)student 模型;self-forcing 让 student 在自身生成的上下文上训练,学会抵抗误差累积漂移。
Teacher 每块需 40 步扩散 × 三路 CFG(每步 3 次模型前向),共 120 次模型评估;蒸馏配方把扩散过程与 CFG 效应联合压缩进无引导的两步 student,仅需 2 次评估即可逼近 teacher 质量,实现 60 倍削减。
这解决了直播场景的两大难题:足够快的实时生成,以及长对话中视觉一致性不崩。

「多模态」频道最新