FMT: Lossless Image Compression in a Fixed Number of Parallel Steps
Ammar Ali
cs.CV
2026-11-18
FMT 把图像存成从粗到细的树,用携带状态的并行 rANS 车道解码,任意大小照片固定 72 步;无网络档胜过 HTJ2K,大网络比学习型编解码器快 9–61 倍且文件不更大。
学习型无损压缩的文件比 PNG、JPEG XL 小,解码一张照片却要几秒,经典格式只要毫秒。训练集和图库是「写一次读多次」的东西,解码速度和体积一样要紧,存档至今仍是经典格式的地盘。
诊断先行:学习型编解码器慢,大半时间在等待,不在计算。串行链有两条,网络要等它条件依赖的值先解出来,算术解码器再一个值一个值地读,还常跑在 CPU 上。FNLIC 报告的网络推理只要 13 毫秒,作者实测整张却要半秒,五分之二耗在熵解码器;LC-FDNet 一秒里有五分之一在 CPU 解码器。GPU 核心再多也压不动这种链。
FMT(Fixed-step Multiscale Tree)把解码顺序和熵编码器一起设计,让两条链都不随图像尺寸变长。
图像存成从粗到细的树:根是每 64 像素存一个的原样值,之后 6 层,每层把已解码像素当方格的角,先补中心、再补边中点。每个新像素由已解码邻居预测,文件只存残差,残差拆成「位数加尾比特」的短决策路径。关键性质是同一步内的新像素互不依赖:中心只看更粗的层,边只多看本层的中心。
步数被根的间距定死:任意大小的照片都是 72 步(神经模式)或 36 步(dense 模式),大图只是每步的值更多。一张 768×512 照片逐值解码要走 118 万步,JPEG XL 按组也要 196,608 步,FMT 单条熵解码链最长 7,410 个值。
熵解码用交错 rANS 车道:一步的值轮流发给许多条独立解码器,车道状态跨步携带,车道数随图像大小伸缩。这是全篇最要紧的取舍:每步另开车道的话,车道总数多 34 倍且各存终态,文件大 13%。
同一棵树跑三档模式。fast 按固定宽度存小波残差,不碰概率;dense 没有网络,查 256 个离线学好的直方图;neural 用 16×2 到 768×4 的小 MLP 输出离散 logistic 混合分布,编码端按每张照片微调(FiLM 缩放偏移加 LoRA 式低秩增量),更新只占文件 0.14%–1.2%。概率全部转成定点整数累积分布,内核固定运算顺序,跨 GPU 位级一致。反面例子是 FNLIC,官方码流在作者的 GPU 上 24 张 Kodak 全部解错。
Kodak,单张解码,一块 RTX 4090:
| 方法 | bpsp | 解码耗时 |
| FMT fast | 3.981 | 0.23 ms |
| FMT dense(无网络) | 3.187 | 0.45 ms |
| HTJ2K(NVIDIA GPU 库) | 3.510 | 0.55 ms |
| FMT 64×2 | 2.818 | 7.5 ms |
| JPEG XL e9(32 线程 CPU) | 2.885 | 10.7 ms |
| FMT 512×4 | 2.589 | 53.5 ms |
| DLPR(学习型,作者自跑) | 2.857 | 5373 ms |
| CALLIC(学习型,发表时间) | 2.54 | 1.7 s |
dense 档没有网络,文件却比 NVIDIA GPU 库里的 HTJ2K 小 8%–10%、解码快 1.2–1.6 倍。64×2 比 JPEG XL 最高档 e9 小 2.3%–3.8%、快 1.4–1.6 倍,不过这是一块 GPU 对一个跑满的 32 线程 CPU。512×4 用 53.5 毫秒解到 2.589 bpsp:按发表时间比 HPAC-Fast 快 7.5 倍、DLPR 快 27 倍、ArIB-BPS 快 61 倍,文件同大或更小;比 HPAC-FT 和 CALLIC 大 1.7%–2.7%,换它们 17–32 倍的时间。作者又在 A100 上自跑 FNLIC、LC-FDNet、ArIB-BPS 做同机对照,512×4 快 8.8–61 倍。满载时 fast 档吞吐 8.8–11.8 GP/s,超过所有测过的编解码器,比它更快的只剩文件大 28% 的 TIFF-LZW 一类。消融把解码顺序换成 wavefront(步数随图像增长),文件小 0.3%–2.4%,步数多 8–78 倍:4K 帧约 24,000 步对 72 步。
「学习型压缩慢」被拆成有明确病因的工程问题:瓶颈在串行依赖,不在算力,这个诊断对做神经压缩的人有迁移价值。训练数据管道用 fast 和 dense 档,吞吐和体积同时占优;要压缩率就换中档网络,不再付秒级解码,同一格式从无网络滑到大网络按需选档。跨 GPU 位级一致是被低估的部署问题,整数概率表这条路顺带暴露了 FNLIC 码流不可移植。
边界也说清:逐图自适应的 CALLIC、HPAC-FT 在完整验证集上仍小 1.8%–3.4%,一个 LLM 预测器小 5.5%–10%,代价是每图 140–500 秒。FMT 赢的是大小和速度同时成立的那一段,不是极限压缩率。
作者自述:只支持 8-bit 照片,10–16 bit 的胶片母版和医学影像要重训网络;编码端每图微调要几秒(512×4 在 A100 上 3.5–8.9 秒),「写一次」的成本不低;解码器按图像尺寸缓存索引表,每像素 276–403 字节,33 MP 图要 9.6 GB;小图不占优,64×64 缩略图仍要走完 72 步,3.2 毫秒对 CPU 编解码器的约 0.5 毫秒;128×2 及更大的网络没有 CPU 解码器,可移植内核 fp32 慢 3.0–4.4 倍;码流需要校验和,一个错会沿树向细层扩散。
读下来的疑问:JPEG XL 对比是 GPU 对满载 CPU,口径不同,作者声明了,换算要读者自己做;学习型基线时间部分取自文献、机器不一,A100 同机补测那部分更可信;代码标注「将发布」,发布前无法复验。单作者论文,实验量和补充材料却相当大,结论的分量取决于这些数字能否被第三方复现。