ZHA 实现 prefill/解码双次二次复杂度，可蒸馏转换现有模型
BerenMillidge · x · 2026-11-03
Beren Millidge 介绍其 ZHA（零阶层次注意力/稀疏层次注意力）方法的核心结果：prefill 与 decode 两阶段均达到亚二次复杂度；在 SOTA 评测上以强模型匹配现有稠密注意力与 MSA 的表现；并且可以通过蒸馏直接转换现有模型，无需从头训练。他补充称方法使用了正确的树形数据结构，并认为注意力本质上是稀疏且分层的，因此该方法「不得不行」。
所属事件:Zyphra 推出树形索引稀疏注意力 ZHA(3 条相关)→
「Infra」频道最新
- Ubuntu CVE-2026-98432 修复已在 -proposed 仓库，延迟或因数据库回归修复 — bytebot · 2026-11-03
- The Circuit 播客：拆解 Anthropic S-1、Intel 疑云与 Marvell 动向 — BenBajarin · 2026-11-03
- 分析师：Palantir 财报或重创 AI 交易，与英伟达联手挤压同行 — pdamodaran · 2026-11-03
- 业内人士：没有 DeepSeek 级 KV-cache 管理，推理厂商难生存 — AccBalanced · 2026-11-03
- 推理服务商从业者：这是门手艺，很多 provider 撑不下去 — AccBalanced · 2026-11-03
- AI agent 自创「套娃 k8s」架构：kcp 分区叠 bare metal 叠 KubeVirt 叠 guest 集群 — sloppenheimer · 2026-11-03