免训练给扩散模型提速 4.8 倍:用切比雪夫多项式预测中间特征

Adaptive Spectral Feature Forecasting for Diffusion Sampling Acceleration

Jiaqi Han, Juntong Shi, Puheng Li, Haotian Ye, Qiushan Guo, Stefano Ermon

CVPR 2026

cs.CV, cs.LG

2026-03-02

无需重训,只在采样时缓存 Transformer 最后一层特征、用切比雪夫多项式外推,FLUX.1 提速 4.79 倍且 PSNR 反超 TaylorSeer 近 5 分。

这篇在解决什么

扩散模型(Diffusion)生成一张图、一段视频要跑几十步去噪,每步都是一次完整的网络前传,慢。一类叫「特征缓存加速」的办法利用了相邻去噪步的特征变化平缓:跳过部分步的网络前传,用前面算过的特征凑出被跳过的部分,等效减少前传次数(NFE)。代表方法 TaylorSeer 用泰勒展开预测被跳过的特征,但它有个毛病,误差随步长放大,步子迈大了画面就糊。核心矛盾是要么少省(小步)、要么糊(大步)。

方法

Spectrum 的观察是:在网络某一层,特征的每个通道随去噪时间 t 的变化曲线其实很平滑,可以用低阶多项式拟合。它不用泰勒(泰勒误差与步长的高次幂挂钩),改用切比雪夫多项式(Chebyshev polynomial)做岭回归拟合,误差上界只取决于多项式阶数,不随步长放大。

具体做法:

只缓存 DiT(Diffusion Transformer)最后一层块的输入特征,跨多步复用;网络主干这些步被整个跳过。
用 M=4 阶切比雪夫基、岭回归正则 λ=0.1,从过去几个真实特征点拟合通道-时间曲线,外推被跳过步的特征。
自适应调度:缓存间隔按 r(r+1)/2·α 递增,早期步细、后期步粗,因为后期特征变化更平缓。

这套机制同时适用于 DiT(FLUX、Wan、HunyuanVideo、SD3)和 U-Net 结构的 SDXL,说明它绑的是「特征随时间平滑」这个性质,不绑具体主干。

结果

10 次 NFE 换来约 4.5 到 4.8 倍提速,14 NFE 约 3.5 倍。

模型	提速	质量(PSNR/dB)	对照 TaylorSeer
FLUX.1	4.79×	22.21	17.41
Wan2.1-14B	4.67×	21.24	17.24
HunyuanVideo	4.56×	25.39	—
SD3.5-Large	4.32×	—	—

相比「真值」特征的 RMSE,Spectrum 比 TaylorSeer 低 2 到 3 倍。Wan2.1-14B 在 VBench 上仍拿到 82.21。关键在于它在大步长下不崩,TaylorSeer 在同样提速比下明显糊。

为什么重要

对从业者:免训练、即插即用,给现有 DiT 视频管线直接省一大半推理算力,不用重训、不用换权重。视频生成是当前最烧卡的环节之一,这类方法的价值在于把「等几分钟」压成「等一分钟」。它是工程红利,不是能力突破,生成质量的上限没变。

局限与存疑

免训练的好处也是限制:它依赖「特征随时间平滑」这一先验。极端大步长或特征剧烈变化的步,外推仍会失真,论文给的最佳点集中在 10 到 14 NFE。
论文的 PSNR 对比是相对一个「真值」重建算的,不是相对真实数据分布的 FID;提速比和质量的权衡需要在自己的模型上实测。
切比雪夫阶数 M 和正则 λ 是固定的,论文没给按模型自适应的办法。

术语

NFE(Number of Function Evaluations):网络前传次数,扩散采样里衡量算力开销的单位,越少越快。
切比雪夫多项式:一类在区间内最小化最大误差的正交多项式,常用于函数逼近,误差均匀,不像泰勒那样在边缘发散。
岭回归:带 L2 正则的最小二乘拟合,防止少量样本点过拟合。
DiT(Diffusion Transformer):用 Transformer 替代 U-Net 作主干的扩散模型,FLUX、Wan 等属此类。
特征缓存加速:跳过部分去噪步的网络前传、用历史特征预测替代的一类推理加速技术。

免训练给扩散模型提速 4.8 倍:用切比雪夫多项式预测中间特征

这篇在解决什么

方法

结果

为什么重要

局限与存疑

术语

原文与代码

社区讨论

相关论文