腾讯发布HiLS-Attention稀疏注意力模型

腾讯在Hugging Face平台开源了7B稀疏注意力模型HiLS-Attention。该模型对应论文《Hierarchical Sparse Attention Done Right》，其核心亮点在于支持端到端学习chunk选择，为层级稀疏注意力机制提供了新的实现方案。

2026-07-10 ~ 2026-07-11 · 2 条相关

• HiLS-Attention 7B 发布 — pmttyji · 2026-07-10
• 腾讯发布HiLS-Attention — _akhaliq · 2026-07-11