Veda Sparse 发布 MiniMax H3 加速法,块稀疏注意力只保留 10%
linoy_tsaban · x · 2026-09-27
Veda Sparse 团队在 Hugging Face 发布了针对 MiniMax H3 文本生成视频模型的加速方法预览权重:
- 核心是一个 tile-score predictor(275M 参数,fp8 e4m3 存储),按层、按头为每个 query tile 选出需要关注的 128-token key tile,让注意力以 10% keep ratio 跑块稀疏,替代稠密注意力
- 支持 8 个去噪步(8 NFE)的 text-to-audio-video 生成,预览 checkpoint 仅在 5.17s 片段上训练 600 步,但可泛化到 10.1s 和 14.4s 时长
- 权重以 fp8 存储并附每头 fp32 amax scale,加载时反量化为 bf16,内部评分上采样到 fp32;由于是 top-k 选择,fp8 误差不影响结果,只减半下载与加载体积
- 权重与 tile plan 打包在同一文件,避免静默错配;附带 Ada/Hopper/Blackwell 架构的部署指南
「多模态」频道最新
- Vivix W1 视频模型升级:5 美元批量生成 100 条 10 秒广告视频 — Aiden_Tech_Ai · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Reddit 音频模型大盘点:开源 ASR/TTS/文生音乐 9 个月后再度征集 — rm-rf-rm · 2026-11-16
- 用 FLUX.2 klein 给 2D 游戏生成循环动画:掩码法可行但仍是 hack — emilrueh · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- Zyphra开源文本归一化工具:TTS结构化数据正确率最高提升22个百分点 — kastnerkyle · 2026-11-16