腾讯发布HiLS-Attention

_akhaliq · x · 2026-07-11

腾讯在 Hugging Face 上发布了 **HiLS-Attention**，这是一个 **7B 稀疏注意力模型**。核心特点是它可以**端到端学习 chunk 选择**，面向**超长上下文**场景，重点在于通过稀疏注意力机制提升长文本处理能力。