SOL Attention + SageAttention：Apple Silicon 上视频生成提速 2.5 倍
TgoAI · reddit · 2026-09-10
作者在 Vpipe 中实现了 SOL Attention（动态块稀疏注意力）与 SageAttention 式 INT8 QK 路径，在 Apple Silicon 上加速 H3 视频生成。
性能（M5 Pro 24GB，6 步 DiT）：
- 832×480/15s：原版 H3 约 17 分钟，VDN 10.2 分钟，SOL 9.3 分钟
- 1344×768/13.7s：原版约 74 分钟，两种加速方案均约 30 分钟（约 2.5×），极长序列下 VDN 略快
质量差异是关键：
- VDN 用投影+线性注意力替换注意力计算，长序列扩展更好，但作者遇到过伪影（如水流中途反向）
- SOL 对选中的 KV 块做精确计算、其余用廉价近似，行为更贴近原版，测试中未发现类似伪影
实现细节：作者未复用 MPS kernel，而是为 Vpipe 的原生 Metal 后端重写了 SOL 核心算子；SOL 与 Sage 互补（SOL 减少精确注意力总量，Sage 让剩余块内 QK 更便宜），且该后端也可惠及其他图像/视频模型。开源地址：github.com/tgo-app-dev/vpipe
所属事件:SOL Attention 加 SageAttention 让 Apple Silicon 提速 2.5 倍(2 条相关)→
「Infra」频道最新
- Epoch 数据：头部 AI 公司算力年增 4 倍，OpenAI 两年涨近 20 倍 — Jsevillamol · 2026-09-10
- 128GB Strix Halo 跑 Qwen3.8 Flash：Q4+Q8 n-gram 混合量化的内存账与困惑度实测 — MarkoMarjamaa · 2026-09-10
- 新用户携项目入驻时，Agent 自动生成最优 Dockerfile 优化启动时间 — lucasmeijer · 2026-09-10
- MEM Orchestrator：8GB GPU 上 LLM 训练的自适应内存控制平面，公开求破解 — uBazzyZ- · 2026-09-10
- OpenAI 算力两年暴增近 20 倍,头部公司年增 4 倍 — The Verge AI · 2026-09-10
- Keras 推出 ZeroModels:100+ 模型族纯 Keras 3 跨后端运行 — fchollet · 2026-09-10