VDN-H3 移植到 Vpipe:M5 Pro 24GB 上 H3 生成最快提速 2.6 倍

TgoAI · reddit · 2026-09-07

作者将 VDN-H3(Video DeltaNet for MiniMax H3) 移植到 Vpipe——一个纯 C++20/Metal 的 Apple Silicon 原生推理运行时(不用 PyTorch/MPS/MLX),端到端只花约一天。

性能结果:

提速随序列长度与分辨率增长:832×480 下约 6 秒开始领先,15 秒达 1.7×;1344×768 下交叉点更早,约 14 秒达 2.6×
测试均用 6 DiT steps + Turbo LoRA
参照:FastH3 在 M4 Max 36GB 上同规格需 465–504 秒;Vpipe 的无 VDN 基线在 16GB M5 MacBook Air 上冷启动约 469 秒

原理与代价:

VDN 的思路是利用视频扩散固有的冗余,而非对全序列均匀分配算力;采用帧级线性注意力 + softmax 注意力混合架构
内存代价:新增约 4GB 无法融合的权重 + 约 1GB 可 LoRA 式融合的权重(尚未实现),24GB 机器上小任务可能得不偿失;可量化到 8-bit 降低开销

质量观察: 同种子下构图与基线高度一致,但部分序列有长程时序不一致(如水流方向中途反转),疑似与滑窗/线性注意力有关,可考虑混入全局注意力。首尾帧/参考图 conditioning 是待探索方向。

「Infra」频道最新