EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold
Junjie Chen, Fei Wang, Kun Li, Yiqi Nie, Xun Yang, Yanbin Hao, Linfeng Zhang, Meng Wang
cs.CV
2026-09-29
让 3D 对话头像在对话中用测试时训练在线适应,不需要动作标签;最难分布上表情失配最多降 11.1%,盲测偏好最高 90%。
交互式 3D 头像要在同一路流里边说边听:说话时口型、表情、颈部姿态跟自己的语音对齐,听对方说话时点头、微笑、给反应。这条线一直在加条件,从只用头像音频(DiffPoseTalk、ARTalk),到加用户音频(UniLS),再到加预计算的用户 FLAME 轨迹(DualTalk),但部署之后参数全是冻结的,对话里反复出现的规律(用户期待被点头回应、搭档间的轮换节奏)只能当条件消费,当不成学习信号。论文的立场是:对话本身就是持续到来的无标注视听证据,生成器应该边生成边学。
EvolvingAvatar 把用户面部视频帧和双方音频映射成 FLAME 参数(106 维:100 表情 + 3 颈部 + 3 下颌),每 200ms 一个区间流出,核心是把测试时训练(TTT,推理时用自监督目标在线更新一小部分「快权重」)搬进流式生成,四个关键设计:
配套的 InterHead-Bench 有 455.95 小时、4365 个参与者 ID,流水线 DIALOG3D-FACTORY 把双视角(Seamless Interaction)和单视角(RealTalk)录像统一处理成对齐的 FLAME 动作、语音、说话状态和轮换统计;ID/OOD 按参与者与交互是否留出划分,OOD-Hard 整体换到单视角域。
参数空间里,表情和颈部的 FD(比较生成与真实动作统计分布的距离,动作版 FID)在所有 split、说和听两种状态下都是五个方法里最低。盲测 A/B(10 名评分者、60 组试验):整体真实感对 UniLS 的偏好从 ID 的 58% 升到 OOD 的 66%、OOD-Hard 的 72%;OOD-Hard 上对 DiffPoseTalk/ARTalk 达 90%,对 DualTalk 达 86%。
TTT 是不是真在学,看同 checkpoint 消融(ID,表情 P-FD 即用户与头像动作的联合统计距离):
| 消融设置 | 完整 TTT 的表情 P-FD 降幅 |
| 不写快权重(No write) | 20.4% |
| 只更新一次后冻结(Freeze-1) | 4.2% |
| 每区间清空快状态(No carry) | 8.6% |
按五个等长时间段看,OOD-Hard 上表情 P-FD 相对第一段最多降 11.1%、首尾降 7.1%,OOD 首尾降 2.7%,而四个基线在 OOD 上随时间变差。
代价也写明了:DualTalk 的 MSE 和唇部/整网误差(LVE、MHD)更低,动作覆盖度(SID)也更低。作者的解释是,这些点误差量的是与唯一一条录制响应的吻合度,而同一上下文本可以有多条合理响应。
对做数字人、虚拟陪伴、心理支持的团队,这篇验证了交互式动作生成能在部署后按对话继续学,零标注。模型不大(总参数 159.57M、可训练 54.82M),输入只要摄像头帧加两路音频,不依赖预计算的用户 FLAME 轨迹(DualTalk 需要);生成器 8 卡训一个 epoch,流式推理缓冲 160ms,输出的 3D 动作可以直接驱动高斯头像渲染、机器人面部和 talking head。DCP 免标签内目标、两层快权重、活动门控这套组合,对手势、全身动作、机器人策略等流式生成场景有直接参考价值。
作者自述:录制对话捕捉不到用户对生成动作的真实反应,闭环交互里学到的规律是否成立没有验证;心理支持场景的非语言回应是否恰当,要临床指导的研究才能判断。数字上也有裂缝:完整 TTT 让颈部 P-FD 相对不更新恶化 8.9%,作者归因于 DCP 的上下文预测不直接约束各区域动作统计。RGB 视觉输入在 OOD-Hard 有帮助,在 ID/OOD 反而伤表情统计;主设置保留 RGB 只为证明端到端路径可行,附录里喂预提取的 FLAME 分数更好。人评对 UniLS 的偏好趋势统计上分不出显著,三个置信区间都含 50% 平手线。模块级消融(下颌头、活动门控、RGB)跨版本进行,作者自己标注为探索性;OOD-Hard 只覆盖单视角 RealTalk 一个域。