腾讯混元提出分层稀疏注意力，支持长上下文外推

Tencent-Hunyuan · hf · 2026-07-08

腾讯混元团队提出 Hierarchical Landmark Sparse Attention（分层地标稀疏注意力），通过端到端学习块选择实现高效长上下文语言建模。该方法在性能上可比肩全注意力，同时能在超出训练上下文长度的情况下进行外推。