Sayak Paul 将 KV 缓存系统引入流式图像扩散模型
Sayak Paul 发布长文《KV Caching in Flow Models》，把以往主要用于自回归语言模型的 KV 缓存技术首次系统性地迁移到基于 MMDiT 架构的流式图像生成模型，文章涵盖直觉讲解、伪代码、实现与基准测试。已确认
- 长文的动机受 QwenImage 2.1 的 KV 缓存机制启发，作者同时指出 Flux.2-Klein-KV 可能最早为参考图像 token 引入此类做法
- 基准测试以真实场景为主，聚焦作者最关心的速度与内存权衡；他承认更完整的对比还应补充输出质量层面的定量报告
- 作者在写作中仿照 Andrej Karpathy 的教学法：先建立直觉、再展示伪代码与实现，自认效果很好，并在续篇附上 AI 辅助写作的披露
- 作者发现将扩散模型传统缓存技术（如 TaylorSeer）与 KV 缓存组合使用，会导致图像质量出现可感知的下降，并为此补做了对照实验，为文生图推理加速方案选择提供了实测依据
- 作者发现 Flux.2-Klein-KV 中除参考图像 token 外，文本投影（text projections）也可以做 KV 缓存，生成结果未见明显失败，并已 @bflai 提请关注尚未确认
- 文本投影 KV 缓存的可行性尚需更严格的验证；若成立可进一步压缩计算，但当前仅凭目测输出未见失败为什么重要
- 这是 KV 缓存从语言模型向图像 flow 模型的系统性迁移尝试，为文生图推理加速提供了新的工具与实测数据
- 实测表明并非所有加速技术可简单叠加——KV 缓存与 TaylorSeer 组合反而掉质量，对工程方案选型有直接参考价值
2026-10-07 ~ 2026-10-07 · 7 条相关
一手来源
- KV Caching 首次系统迁移到图像扩散模型,附实现与基准测试 — RisingSayak ·
- 长文拆解流模型图像生成的 KV 缓存：直觉、实现与实测 — RisingSayak ·
- TaylorSeer 与 KV 缓存叠加会明显损伤图像生成质量 — RisingSayak ·
- 【源头】KV Caching 首次系统迁移到图像扩散模型,附实现与基准测试 — RisingSayak · 2026-10-07
- 【源头】长文拆解流模型图像生成的 KV 缓存：直觉、实现与实测 — RisingSayak · 2026-10-07
- 仿 Karpathy 教学法写技术长文：直觉先行再上伪代码 — RisingSayak · 2026-10-07
- 流模型 KV 缓存长文 benchmark 侧重速度-内存权衡 — RisingSayak · 2026-10-07
- Flux.2-Klein-KV 疑可对文本投影做 KV 缓存，输出未见失败 — RisingSayak · 2026-10-07
- 【源头】TaylorSeer 与 KV 缓存叠加会明显损伤图像生成质量 — RisingSayak · 2026-10-07
- KV 缓存叠加传统扩散加速反掉质量,作者补做对照实验 — RisingSayak · 2026-10-07