Zyphra 推出树形索引稀疏注意力 ZHA

Zyphra 发布论文《Subquadratic Attention with a Hierarchical Tree-Structured Indexer》，提出分层树形索引稀疏注意力方法 ZHA，通过逐层压缩 KV cache 将注意力复杂度降至亚二次，在 prefill 与解码两阶段均实现次二次复杂度，宣称超长上下文场景最高提速 400 倍。该方法在 SOTA 评测中表现强劲，且可通过蒸馏将现有模型转换为 ZHA 架构。

2026-11-03 ~ 2026-11-03 · 3 条相关

• ZHA 实现 prefill/解码双次二次复杂度，可蒸馏转换现有模型 — BerenMillidge · 2026-11-03
• Zyphra 发布分层注意力 ZHA:宣称超长上下文提速最高 400 倍 — teortaxesTex · 2026-11-03
• Zyphra 提出树形索引稀疏注意力 ZHA, attention 复杂度降至亚二次 — yacineMTB · 2026-11-03