Flash-MSA开源稀疏注意力加速百万Token训练

开源稀疏注意力内核方案Flash-MSA正式发布，旨在突破长上下文训练的效率瓶颈。该方案通过定制化的注意力内核替代传统的密集型计算，专门针对百万Token级别的超长上下文场景进行优化。此举将有效提升大模型在处理极长文本时的训练效率，为长上下文模型的开发提供了新的基础设施支持。

2026-07-13 ~ 2026-07-13 · 2 条相关