腾讯混元开源 MC-Sparse:免训练稀疏注意力,视频去噪提速 1.8 倍
Tencent-Hunyuan · hf · 2026-10-09
腾讯混元发布 MC-Sparse(Meta-Cached Sparse Attention),一个免训练的稀疏注意力框架,用于加速扩散 Transformer 在长序列生成(视频、高分辨率 3D 资产)中的推理。
核心发现
- 通过受控 oracle 对比,把高稀疏度下的质量退化归因于三个来源:token 分组的约束、交互选择不准、丢弃 token 造成的注意力贡献损失。
方法
- 逐个选取 KV token,同时把相似 query 组织成 tile 对齐的分组以高效利用 GPU。
- 缓存 query 分组、用精确注意力概率选出的 KV 索引、以及稠密与稀疏输出的残差,在后续去噪步间复用。
效果
- 相比现有稀疏注意力基线,对稠密注意力输出保真度更高、去噪加速更大,无明显质量损失。
- 相对稠密注意力:Minimax-H3-Base 上去噪提速 1.80 倍,3D 资产生成提速 2.32 倍。
「多模态」频道最新
- Midjourney v8.2 扫描仪风格人像:附完整可用提示词 — tisch_eins · 2026-10-09
- 两位网红全是 AI 生成,Higgsfield Katana 引爆假人营销争议 — CurieuxExplorer · 2026-10-09
- 用 Claude Code 操控 ComfyUI 生成视频，作者自己笑疯 — TheHollywoodGeek · 2026-10-09
- 20 个 GitHub 仓库把 Claude 变成动态设计工作室 — Roger_M_Taylor · 2026-10-09
- 腾讯 OmniCapBench:786 条视频细粒度评测音视频字幕,暴露长程推理短板 — Tencent-Hunyuan · 2026-10-09
- 自由设定镜头路径:生成场景里的运镜体验火了 — XRarchitect · 2026-10-09