LynnReal-Hand: Unlocking World Interaction with Hand Control
Shaohao Rui, Chaoyang Zhang, Xiaofeng Mao, Weijie Ma
cs.CV, cs.AI
2026-11-17
LynnReal-Hand 用十万条手与相机对齐的片段训练手控视频,域内 FVD 降到 181.67,手指 Dice 到 93.02;压成三步后 Dice 仍有 92.49,540p 单卡达到每秒 18.03 帧,延迟 0.741 秒。
交互式视频世界模型已经能跟着文本和相机走。Genie、Matrix-Game 3.0、PAN 解决的是往哪看、往哪走。手要抓物体时,这些信号不够,指尖和接触面写不进导航指令。
HandWorld、Hand2World、Generated Reality、JointControlVideo 已经把关节手运动接进生成。困难有三件。手只占画面一小块,全局损失几乎不罚指节错位。再压成少步因果生成,学生每段都吃自己上一截输出,局部误差被放大。去噪变快以后,高分辨率 latent 的解码还是慢。
训练数据 10 万条,真实与合成都有,场景从室内、户外到科幻。描述来自视觉语言模型,相机来自 VIPE,手来自 WiLoR 逐帧拟合的 MANO。MANO 用姿态和形状生成三维手网格,再画成条件视频,右手红、左手蓝。HandBench 共 200 条,160 条域内,抽自八个训练来源;H2O 和 TACO 整集未参与训练,40 条作分布外。
骨干是冻结 H3 VAE 潜空间中的双向 Diffusion Transformer。首帧和文本进 Qwen3-VL,手运动进 H3 VAE,相机用 PRoPE 注入,把投影几何写进位置编码。编码器冻结,只更新 DiT。主损失 Conditional Flow Matching 在噪声和干净 latent 之间回归速度场。整幅画面共用一个权重,手部几个点的误差容易被背景盖住。
Interaction-Preserving Training(IPT)分三段,对着两处失败:预训练时手部信号太弱,加速之后跟手变差。
Ultra-Fast-VAE 保留 26 层和 2048 维残差,注意力头 32 减到 8,SwiGLU 从 8192 收到 1536,参数 3.61 亿。通道按激活强度和下游投影范数裁剪,输出用岭回归初始化,再对着学生隐状态蒸馏全宽算子。没有跨块缓存,手部时间损失在块边界加重。每块 5 个当前 latent 进出 17 帧,不看未来,导出为 W8A8。
域内八个来源上,Base 与基线在 768p 生成,Fast 为实时改在 540p,全部对着 768p 真值打分。
| 方法 | FVD↓ | MANO Dice↑ | Cam-BG↑ | PSNR↑ |
| JointControlVideo,未重训 | 358.34 | 89.93 | 23.21 | 16.68 |
| Generated Reality,已微调 | 348.26 | 89.11 | 26.65 | 17.03 |
| Hand2World 双向,已微调 | 294.32 | 90.60 | 54.13 | 19.64 |
| Hand2World 流式,未重训 | 963.96 | 76.23 | 17.17 | 12.92 |
| LynnReal-Hand-Base | 181.67 | 93.02 | 64.97 | 20.90 |
| LynnReal-Hand-Fast,三步 | 237.33 | 92.49 | 49.35 | 19.12 |
MANO Dice 是生成帧上重新拟合的手轮廓和真值 mask 的重叠,Cam-BG 是背景运动和参考镜头的一致程度。相对同数据微调的 Hand2World 双向,Base 的 FVD 从 294.32 降到 181.67,相对降幅 38.3%,Dice 从 90.60 到 93.02,Cam-BG 从 54.13 到 64.97。Fast 的 FVD 为 237.33,仍低于各离线双向基线,VBench 主体一致性 95.27、背景一致性 95.34。手指 Dice 比 Base 少 0.53,相机跟随掉到 49.35。
H2O 与 TACO 上,Base 的 FVD 是 434.46 和 398.03,微调 Hand2World 是 879.73 和 762.02,相对降幅超过 47%,Dice 为 93.70 和 92.84。Fast 不重训,H2O 上 Dice 92.78、FVD 690.19。分布外 FVD 仍比域内高出一倍多。
单张 H200 上,33B 的 Fast 加瘦解码器,540p、每块 17 帧,延迟 0.741 秒,吞吐 18.03 FPS,峰值显存 34.89 GiB。同一套 33B 的 Base 走全序列,约 770 秒,0.136 FPS,峰值 82.59 GiB。5B 的流式 Hand2World 为 8.65 FPS、33.44 GiB,域内 Dice 只有 76.23。
解码单独在 1344×768 的 17 帧上测。Ultra-Fast-VAE 为 361.2M 参数,PSNR 34.43 dB,时延 46.77 毫秒,约 363 FPS。原生 H3 为 2423.5M、35.04 dB、831.30 毫秒,参数约少 6.7 倍,解码约快 17.8 倍,PSNR 低 0.61 dB。对 LightVAE,PSNR 低 0.70 dB,时延约低 12.5 倍。对 Tiny-H3,PSNR 高 4.03 dB,帧差误差从 13.78 降到 9.80。
盲评同时看动作和画面。Base 对微调 Hand2World 的胜率 70.5%,Fast 为 58.5%;对流式 Hand2World 两者都是 100%。Base 对 JointControlVideo、Generated Reality 的胜率为 93.5% 和 89%。
消融说明分数该怎么分。第一段用从 HandBench 另抽的 100 条,和主表不是同一划分:只有全局 flow matching 时 Dice 87.02、FVD 473.69;加上手部 latent 损失,Dice 增加 2.67;再加 LPIPS,FVD 从 442.33 降到 358.62,Dice 到 92.43;DINOv2 补到 351.55 和 92.74。第三段用 50 条每帧都有手的片段,三步预算相同:不蒸馏时 FVD 404.68、Dice 89.60;视频高噪声平移(shift = 12)后 Dice 到 92.03;图像分支不遮手,FVD 到 208.75,Dice 停在 92.00;图像只监督背景,Dice 92.50、FVD 198.99。不遮手时全局观感上去,Dice 不涨。
能跑起来的是 Fast。三步去噪、两块滑窗、无缓存瘦解码器,单卡 540p 接近实时吞吐。论文给出了代码和模型页面,并写明将放出数据、权重和完整训练推理代码。复现门槛在 33B。
相对同数据微调的 Hand2World,离线是渐进改进:Dice 多两个多点,FVD 相对降 38.3%。流式才拉开,对方 Dice 掉到 76,Fast 留在 92.49。
输入是外部给定的手和相机,输出连贯视频。接触不会改写物体,画面也回不到控制器。当灵巧仿真器不成立。
两块因果窗没有长期三维记忆。物体出画再回来,持久性没有保证。运动学控制还没接上物理接触,闭环的灵巧机器人学习留在后面。
Dice 只看轮廓重叠,不回答抓没抓住,也不管物体有没有按力学移动。Fast 用 540p,基线多用 768p,像素分不能直接比。JointControlVideo 和流式 Hand2World 没有用这 10 万条重训。0.741 秒是一块 17 帧的延迟,18 FPS 只说明吞吐,离百毫秒级的手部反馈还远。域内 FVD 181.67,H2O 上 434.46。消融的 100 条和 50 条跟主表不是同一批样本。WiLoR、VIPE 的标注误差没有单独测,人评也没有给出人数和题量。