NVIDIA一步视频精修器,2K均分超全部外部对照且快8.91倍

SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video

Haozhe Liu, Tian Ye, Shuchen Xue, Yitong Li, Junsong Chen, Haopeng Li, Jincheng Yu, Duomin Wang, Ruihua Zhang, Lei Zhu, Song Han, Enze Xie

cs.CV

2026-09-30

NVIDIA做了一步视频精修器SoL-Refiner,低分辨率生成后单步修到4K。2K共享输入上VBench 0.810、UniPercept 60.4,超过全部外部精修器;加速栈把精修从57.5秒压到6.4秒,相对三步LTX-2.3快8.91倍。

这篇在解决什么

高分辨率视频生成的代价跟着时空 token 数量涨。模型更大,每一步去噪更贵;分辨率更高,每一步要处理的序列更长。把生成压到低分辨率能省算力,但细纹理和局部结构会丢。

业界的折中是两段式:低分辨率基座负责运动、构图和场景内容,高分辨率精修器再补细节。基座还可以更激进地加速,精修器顺带修伪影。现有精修器往往要在目标分辨率上多步去噪,等于又造了一个采样瓶颈。LTX-2.3 用三步,LingBot 用八步。很多精修器还绑死在某一个基座上,换生成器就不好使。

方法

SoL-Refiner 从预训练 LTX-2.3 出发,把低分辨率视频一次去噪映射到高分辨率,不改、不重训上游生成器。训练分三阶段。

持续训练:主数据是内部真实视频,高清当目标,空间下采样再上采样当低质量条件。少量合成配对只做热身,低质量端来自支持的基座,高质量端来自 LTX-2.3 Refiner。路径从带噪声的低质量 latent 走到高质量 latent,最噪端点仍保留低质量信息(σstart=0.91)。truncated-σ flow matching 把速度场对准精修映射。文本和参考图做条件;参考图 token 拼进序列但不进重建损失,避免模型复读参考图。
RL 后训练:流匹配不直接优化观感,所以用 Reward Feedback Learning 把帧级奖励回传到多步精修器。训练用 12 次有效 Euler 更新,只在第 6 到 12 步里抽一步做可微奖励,因为更早的高噪声预测对奖励模型不可靠。解码后把视频切成前、中、后三段,各抽一帧。HPSv3++ 打提示对齐和偏好,DeQA 打退化感知画质,归一化权重约 0.2 和 0.4,分数截断在 10 和 4.5 以限制刷分。评测走完整 23 步日程。
蒸馏与加速:先用 distribution matching distillation 压成三步学生,再从三步初始化一步生成器,保留 DMD,并加投影 DiT 判别器,从第 21、34、47 块池化 token。判别器和 DMD 的 fake-score 拆开,对抗目标就不会污染分布匹配。近似 R1 防止判别器过快分开真假桥状态。推理时 tiny autoencoder 替换完整视频 VAE,Sol-Engine 用核融合和 SolAttn 稀疏注意力跑那一次 NFE。

先 RL 再 DMD 的 VBench 均分是 0.81048,两项绑在一起的 DMD-R 只有 0.80098,最终配方走分阶段。

结果

评测集是自建 Refiner-Bench,150 条视频。共享输入协议下,所有精修器吃同一批缩到 1024×576 的素材。LingBot 出 1920×1088,其余出 2048×1152。

方法	步数	VBench AVG	UniPercept AVG
缩放输入	-	0.79866	54.1124
LingBot Stage-2	8	0.80170	53.0473
LTX-2.3	3	0.80388	56.1243
LTX-2.0	3	0.80796	54.4600
SEEDVR2	1	0.80351	56.8192
SoL-Refiner 多步	23	0.81691	61.3170
SoL-Refiner 一步	1	0.81048	60.4150

一步模型的 VBench 均分、AQ、IQ 和 UniPercept 均分超过所有外部精修器,含同样一步的 SEEDVR2。VBench 均分领先很窄:0.81048 只比最强外部 LTX-2.0 的 0.80796 高 0.0025。分项上 IQ(0.69196 vs SEEDVR2 的 0.66337)和 UniPercept(60.415 vs 56.819)才拉开。主体一致性、背景一致性、运动平滑仍是 LTX-2.0/2.3 更高;动态程度 0.71333,低于 LingBot 的 0.74000。LingBot 的 UniPercept 53.047,低于未精修输入 54.112。23 步变体 VBench 0.81691、UniPercept 61.317,质量上限仍在多步。

相对同源三步 LTX-2.3,720p / 2K / 4K 的 VBench 相对提升 0.60%、0.82%、3.86%,UniPercept 为 7.65%、7.64%、22.79%。4K(3840×2176)上差距最大。

训练消融里,持续训练 VBench 0.80888 / UniPercept 56.662,RL 后训练 0.81691 / 61.317,一步蒸馏 0.81048 / 60.415,仍高于阶段一。去掉奖励正则或只用 HPSv3++,VBench 均分分别落到 0.81046 和 0.81415。

H100 上 2048×1152、241 帧、24 fps 精修,三步 LTX-2.3 要 57.461 秒。一步蒸馏、TAE、Sol-Engine 相邻加速 1.82×、2.37×、2.06×,最终 6.447 秒,合计 8.91×。一步本身只贡献第一截。

GB200 上 5 秒 1344×768 24 fps 视频,50 步全分辨率 MiniMax H3 要 152.3 秒;四步 896×512 H3 加一步精修 5.64 秒(27.03×),生成 4.06 秒、精修 1.56 秒。DGX Spark(GB10)上 384p 生成再修到 768p,SoL-H3 从 56.17 秒降到 39.67 秒,相对直接四步 768p 的 374 秒为 9.43×。WAN-5B、WAN-1.3B、Cosmos-Nano 低分辨率生成再精修,相对直接高分辨率,H100 端到端约 2.81×、3.46×、2.21×,平均 VBench 和 UniPercept 也好于直接高分辨率。

为什么重要

高分辨率视频不必整段都在目标网格上采。多步去噪可以留在低分辨率,目标分辨率只花一次 NFE。精修器不改基座,能接不同生成器。

8.91× 不能读成「改成一步就快九倍」。没有 TAE 和 Sol-Engine,一步相对三步 LTX 大约 1.82×。一步版是拿 23 步 RL 模型当教师再压缩;延迟预算够的话,多步均分更高。

这是级联生成上的工程压缩,不是新的生成范式。已经在跑 LTX 系、卡在 2K/4K 延迟的人可以跟。构图和运动仍归低分辨率基座,精修器补纹理和伪影。

局限与存疑

正文没有单独 Limitations 节。

Refiner-Bench 只有 150 条,还把素材先缩到 1024×576,测的是同一批降质输入上的精修,不是各家原生产出。LingBot 输出 1920×1088,和 2048×1152 那一组不完全齐。

主训练数据是真实视频的下采样-上采样配对,合成伪影只用于热身。生成器造成的结构扭曲、纹理撕裂,跟双线性降质不是一类分布。跨 WAN / Cosmos / MiniMax 的实验说明能迁移,没有报告人脸、文字、快速运动的失败统计。

奖励是三帧图像奖励,不是视频级时序奖励。运动平滑和动态程度一步模型并不占优,和这个选择对得上。抽取正文里没有独立人类偏好实验,HPSv3++ 既进训练又进质量叙事。

8.91× 的设置是 241 帧 2K 精修,27× 对照的是 50 步全分辨率 H3。更短片段、更少步数的基座,倍数会缩。模型从 LTX-2.3 初始化,对 LTX-2.3 Refiner 的对比有同家族优势;对外接 SEEDVR2 和 LingBot 更有信息量。

术语

精修器 (refiner):接在低分辨率生成器后、在目标分辨率补细节并修伪影的第二段模型。
truncated-σ flow matching:路径最噪端点仍含低质量视频,学的是精修映射,起点不是纯噪声。
ReFL:Reward Feedback Learning,在选定去噪步把图像奖励反传给扩散或流匹配模型。
DMD:Distribution Matching Distillation,用教师与 fake-score 的分数差把多步模型压成少步学生。
NFE:一次去噪网络前向;这篇把精修阶段 NFE 压到 1。

原文与代码

社区讨论

SoL-Refiner 一步去噪把低清视频拉到 2K/4K,端到端快 8.91 倍 linoy_tsaban