LTX-2.5 单卡 130 秒降到 43 秒:快速注意力每片静默回退 384 次
_BatmanRises_ · reddit · 2026-10-19
作者在 RTX PRO 6000 Blackwell 上完整 profiling LTX-2.5(图+prompt→10 秒 1080p 带音频)并逐项优化:ComfyUI 原生 130.1 秒/19.2 Wh,优化后 42.9 秒/6.9 Wh,同模型同画质。
三大瓶颈与解法:
- guide frame 静默关掉快速注意力:首 pass 的 attention mask 让 SageAttention 每片回退慢路径 384 次。改成全程 Sage + 对被 mask 的 keys 做一次小规模精确计算再合并,注意力时间减半,数学结果不变。
- 解码+保存占 38%(49.7 秒):tiled VAE decode 因 tile 重叠多做近 3 倍功,43% 时间耗在小 kernel 反复读写 17GB 张量。整帧解码 + fused CUDA kernel + 直送 NVENC 后降到 6.6 秒,且因只舍入一次比原解码器更接近 fp32 参考。
- transformer:官方 INT8 权重 + SageAttention 已近减半;再加 SageAttention 3 FP4、删除每层 18 份全尺寸冗余拷贝和每次 attention 的 4.8GB 拷贝、41/48 层改 block-sparse(7 层稀疏 visibly hurt 保持 dense)。
方法纪律:无损改动必须字节级一致;改变观感的改动(FP4/稀疏)逐一对照人眼验收。代码由 Claude 编写、Codex 审设计。注意需 96GB 显存,24GB 卡收益不同。
「Infra」频道最新
- ReaDy 用混合线性注意力循环状态做投机草稿,提升生成速度与接受率 — Bohan Sun · 2026-10-19
- CI 迎战 AI Agent 时代:Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- 华为发布 Atlas 960E 超节点:NPO 光互联连接 4096 颗 NPU — bookwormengr · 2026-10-19
- OCP 与会者热议 CPO/NPO 光源路线:外置 CW 激光器还是微 VCSEL — bookwormengr · 2026-10-19
- 机器人「大脑」推理成本三个月暴跌 84%,硬件成唯一大头 — victor_explore · 2026-10-19
- 实测打脸:语义缓存用 cross encoder 反而不如直接调高 cosine 阈值 — Reasonable_Royal_621 · 2026-10-19