Veda Sparse 发布 MiniMax H3 加速法,块稀疏注意力只保留 10%

linoy_tsaban · x · 2026-09-27

Veda Sparse 团队在 Hugging Face 发布了针对 MiniMax H3 文本生成视频模型的加速方法预览权重:

• 核心是一个 tile-score predictor(275M 参数,fp8 e4m3 存储),按层、按头为每个 query tile 选出需要关注的 128-token key tile,让注意力以 10% keep ratio 跑块稀疏,替代稠密注意力
• 支持 8 个去噪步(8 NFE)的 text-to-audio-video 生成,预览 checkpoint 仅在 5.17s 片段上训练 600 步,但可泛化到 10.1s 和 14.4s 时长
• 权重以 fp8 存储并附每头 fp32 amax scale,加载时反量化为 bf16,内部评分上采样到 fp32;由于是 top-k 选择,fp8 误差不影响结果,只减半下载与加载体积
• 权重与 tile plan 打包在同一文件,避免静默错配;附带 Ada/Hopper/Blackwell 架构的部署指南

原文链接 →

「多模态」频道最新

• Google Gemini Live 虚拟形象正式上线：支持 97 种语言 — Sam Witteveen · 2026-09-27
• 网友用 Opus 5.5 给 Pink Floyd 经典曲生成动画，几轮提示词就出片 — Hesamation · 2026-09-27
• 2026 年 9 个开源视频生成模型盘点：从 Wan2.2 到 Mochi 1 — TheTuringPost · 2026-09-27
• Astra 6 对比 Opus 5.5 做 motion graphics：快但要多改 6 次 — aziz4ai · 2026-09-27
• 「狂野魔法变身」图像提示词:藤蔓龙鳞元素火焰全上 — LudovicCreator · 2026-09-27
• 音乐 LoRA 走热：YuE2 配 Two Steps From Hell 风格 LoRA 生成 3 分钟史诗配乐 — linoy_tsaban · 2026-09-27

更多「多模态」频道 AI 资讯 →