FurE: Efficient Instance-Specific 3D Fur Reconstruction without Animal-Fur Datasets
Srinjay Sarkar, Prakhar Kaushik, Soumava Paul, Alan Yuille
cs.CV, cs.AI, cs.GR
2026-09-29
借人发 PCA 先验替代逐根优化,动物毛发 strand 重建训练从 10.5 小时压到 52 分钟,NeuralFur 失败的真实野牛数据也能跑通。
影视和游戏管线里,高质量毛发资产用「一根根显式曲线」表示,可直接编辑、渲染、模拟。从照片反推这套表示,人发已有成熟路线,前提是有大量人发数据可以训练先验;动物没有这个前提,毛覆盖全身、部位之间长度密度差异巨大,细密自遮挡又让多视角重建只能拿到毛的外壳,长毛的皮肤(strand 的根要扎的地方)看不见。
最接近的先前工作 NeuralFur(3DV 2026)用 SMAL 模板拟合加 VLM 毛发属性补缺口,但每根毛都靠密集优化,strand 训练 10.5 小时、预处理还要 10 小时。逐实例捕捉的成本降不下来,这条路线只能停在论文里。
FurE 分两个阶段,组织思路是把最贵的一步从高维 strand 空间搬进低维隐空间。
第一阶段先找皮肤。NeuS2 重建毛外壳网格后,用 Gaussian Frosting 提取局部毛厚线索:这种表示在基网格外挂一层自适应厚度的高斯,壳宽对应毛厚。部件标签用 ALIGN-Parts 直接做 3D 分割,不依赖 SMAL 模板拟合,非四足哺乳动物也能用。壳宽当证据、部件先验当校准,解一个带约束的平滑优化,把每个顶点沿法线内缩:非毛区域锁死,相向表面附近限幅,防翻转和自相交。毛长初始化与脱毛分开(弯曲的毛弧长大于壳厚),每个部位取壳宽 75 分位数乘一个部件系数,可选再混入 40% 的 VLM 长度估计。
第二阶段是提速的关键。不逐根优化每条毛的几十个 3D 控制点,而是训练一个编码器,输入根位置、部件标签、局部壳厚和目标长度,输出低维 PCA 系数;一个从 PERM(人发数据上学到的 PCA 基)初始化的解码器,把系数解码成局部坐标系下的归一化毛形,再按目标长度缩放、按根的切线标架定向。每段挂圆柱状高斯接进 3DGS 可微渲染,用多视角光度、轮廓、方向(Gabor)、防穿透等六项损失端到端优化,同时微调 PCA 解码器。人发先验就这样跨物种迁移,全程不需要动物毛发训练数据,每迭代采样 1.5 万根 strand、共 2500 轮。
同一块 A5000、同样 36 个视角:
| 方法 | strand 训练 | 预处理 |
| NeuralFur | 10.5 h | 10 h |
| FurE | 52 min | 1 h |
strand 训练快 10 倍上下,全流程从约 20 小时压到 2 小时以内。几何精度用一只有艺术家标注 GT 毛发的合成虎评估(阈值 4 cm/40°):
| 方法 | Precision | F-score |
| GaussianHairCut | 32.34 | 37.93 |
| NeuralFur | 48.05 | 46.84 |
| FurE | 51.20 | 50.86 |
四个 Artemis 合成场景(熊猫、白虎、狐、猫)的新视角渲染三家基本持平:熊猫场景 PSNR,FurE 43.91 对 NeuralFur 43.91;猫场景 49.82 对 49.84。「更快、渲染持平、几何略优」是对这组数字的诚实概括。直接把人发方法 GaussianHairCut 搬过来则明显崩:熊猫场景毛长均值 8.79,FurE 是 5.22,方向方差 0.56 对 0.046。动物毛必须显式建模逐部位毛长。
真实数据上,一段实拍多视角野牛序列,NeuralFur 连底层几何都建不出来,FurE 重建出了可编辑 strand。作者称这是第一例从噪声真实多视角图像做逐实例 strand 级动物毛发重建,并放出了这组数据。消融确认:全身统一毛长会让躯干和腹部的长毛缺失,去掉脱毛步骤则方向和曲率一致性变差。
对做 3D 捕捉和数字资产的人来说,全流程 2 小时以内才刚够到实用门槛,20 小时不够。产物是显式 strand,直接进 Blender 和 Unreal Engine,论文演示了强风模拟下物理合理的摆动。「人发先验替代动物数据」的配方在毛以外也用得上:PCA 基跨物种迁移仍然可用,说明它捕捉的是局部曲线结构,不是物种特征;去掉 SMAL 依赖后非四足哺乳动物也覆盖了。
作者自述:需要标定的静态动物多视角图像,活体动物很难配合;脱毛依赖 Frosting 线索和密集视角,严重自遮挡会同时伤壳厚和毛长估计;毛被建模成单层,根面在优化前就固定,多层毛被和根面联合优化没做;评测缺部件内部强变化的 GT(剃毛块、伤疤、不规则造型);厘米级尺度靠瞳距换算,没有验证过的自动回退。
读下来还有两处要打折:渲染指标差距在小数点后第二三位,只能说明持平,论文站得住的卖点是速度;毛长校准里全是手工常数(75 分位壳宽、部件系数、60/40 混合、35–135% 截断),V2 还依赖 VLM 估长,换一批物种是否还稳没有验证。GT 评测只有一只合成虎。