A Lightweight Differentiable Method for Real-Time Skin Rendering and Digitization
Mario Marquez-Balduque, Carlos Rodriguez-Pardo, Jorge Lopez-Moreno
cs.CV, cs.GR
2026-11-11
可微屏幕空间次表面散射从单灯单视角照片拟合散射距离,45人225块面部补丁的阴影区FLIP约0.08–0.09,单块优化约198秒,参数可直接送进实时着色器。
实时引擎的皮肤不跑体积路径追踪,次表面散射是屏幕空间卷积,旋钮是 Burley 剖面的散射距离,光在皮下大致能走多远。离线逆渲染给出吸收和消光系数,和这个旋钮对不上。高光谱、偏振、Light Stage 能拆反射,设备却锁在实验室,样本还集中在中间肤色。耳朵和面颊厚度不同,不该共用一个距离。
这篇直接估着色器参数。暗室里的消费级相机加投影仪,用单灯单视角拟合散射距离,再按面部区域混成实时管线能读的剖面图。
投影仪距皮肤约 20 cm、仰角 30°,Sony α6100 在后,标定距离 47 cm。每区四张:黑场、竖条纹、反相竖条纹、白场。黑场减环境光。条纹与反相图相减后用 Otsu 得到硬边阴影掩码,专供最后一阶段,边缘不能糊,否则光晕宽度会被改写。受光掩码做 11×11 高斯模糊,模拟失焦,散射积分只吃受光区。
单目深度映射到 2 cm 起伏,法线用 Sobel 算出并冻住。单视图放开法线会和材质抢梯度。
前向是 Burley 15 双指数剖面。纹理 [0, 1] 映射到 [0, 1] cm,乘 0.01 变为米,沿用 Unreal Engine 5 的刻度。积分距离取深度里的三维欧氏距离,避免剖面随焦距缩放。128 个样本用 Fibonacci 取角,半径按逆累积分布抽取。薄处透射用倒法线环境光遮蔽估厚度,只参与成图,不进优化。
Adam 三阶段对所有人共用日程。第一阶段 700 步、学习率 5e-3,拟合残余高光和粗糙度,粗糙度被 L2 先验拉向 0.6,这是引擎里皮肤的默认粗糙度。第二阶段 500 步放开反照率,残余高光吸收镜面,收敛后丢弃,避免镜面烘进底色再拖偏散射距离。反照率初值来自 LAB 色度 k=2 聚类,去掉最亮 10% 和最暗 5%,再取 2σ 截断均值。折射率固定约 1.44,散射距离从 0.5 起步。第三阶段 600 步、学习率 1e-3,只动散射距离,损失改到阴影掩码。亮纹上的直接光会淹没光晕梯度,深色皮肤更明显。
各区先拟合一个均匀的三通道距离,再按解剖标签和厚度混合。可微的屏幕空间次表面散射(SSSS)把逐像素循环改成张量积分:图像沿样本维复制,再用双线性采样对齐 WebGL 着色器。输入从 6020×4024 中心裁到 480×360。
45 人、五区、225 块补丁覆盖 Monk 量表。17 人、85 块另做三投影仪对照。掩码内误差如下。
| 肤色段 | FLIP ↓ | LPIPS ↓ | SSIM ↑ | PSNR ↑ |
| Monk 1–3 | 0.093±0.026 | 0.086±0.020 | 0.615±0.066 | 28.61±1.68 |
| Monk 4–6 | 0.093±0.031 | 0.088±0.018 | 0.614±0.066 | 28.67±1.89 |
| Monk 7–10 | 0.077±0.021 | 0.115±0.015 | 0.503±0.072 | 29.65±1.35 |
浅色和中间调接近。深色组 FLIP 0.077、PSNR 29.65,LPIPS 升到 0.115,SSIM 掉到 0.503。论文用阴影亮度解释 SSIM,没解释 LPIPS。
图 14 的散射距离随肤色变短。按厘米刻度,浅色约 0.522/0.427/0.357 cm,中间调约 0.522/0.345/0.259 cm,深色约 0.408/0.278/0.161 cm(RGB)。方向符合黑色素更强,但没有光谱仪真值。
RTX 4070 Ti 上三阶段 51.1 秒、38.3 秒、109.0 秒,合计 198.4 秒,峰值显存 9.4 GB。
阴影掩码相对全图损失,把阴影区 FLIP 从 0.11 降到 0.06(约 45%),全图从 0.15 降到 0.10。全图监督会拉偏距离幅度去补直接光。合成数据上估计贴回真值,例图 FLIP 约 0.01 到 0.02,说明的是这套着色器自洽。三灯相对单灯,散射距离平均 L1 差小于 2%,粗糙度更细,散射几乎不变。与路径追踪逆渲染或高光谱方法没有同台数字。
产线要的是现成着色器能读的距离图,不必先估消光再换算。硬件只是单反、投影仪和暗室。45 人覆盖整段 Monk 量表,深色样本留在表内。
这是渐进改进。屏幕空间散射本来就是引擎默认做法,新的部分是逆问题直接设在这组参数上,并用三阶段把反照率、高光、散射拆开。一块补丁约 198 秒、峰值 9.4 GB,适合离线资产,不能做实时跟踪。
区域内部假设散射均匀。单目深度没有毛孔,粗糙度偏顺。鼻软骨和耳廓不单独拟合单次散射,缺失的透射会被更大的散射距离解释。区域混合能稳住外观,偏差没有量化。陡褶处的自阴影会进反照率,可见性不可微。
评价停在同一光照和视角。合成真值来自同一套 Burley 着色器。角度一致性只在补充材料,正文没有数字。多光样本 17 人,投影仪张角仍然窄。采集要求暗室和固定曝光(ISO 100、1/20 秒、f/20),脸贴在标记上。论文写明散射距离是着色器有效参数,不是本征散射系数。