字节 Seed 提出 PISA:块稀疏注意力复杂度降至 O(NlogN)
ByteDance-Seed · hf · 2026-09-28
字节跳动 Seed 团队发布 PISA,一种对数线性复杂度的块稀疏注意力机制,针对长上下文自注意力的二次方开销问题。
- 核心思路:传统块稀疏注意力选块时需对所有 query-block 对打分,仍是二次方复杂度;PISA 采用金字塔式 Top-K 选择,通过池化构建 O(log N) 层由粗到细的 key 层级,每层用 LogSumExp 对有界候选集打分,逐层缩小候选,总体复杂度降至 O(Nlog N)。
- 工程实现:为训练和推理开发了硬件感知的 Triton kernel,将层级路由与 LogSumExp 打分融合,无需显式构建 query-key 分数矩阵。
- 效果:在语言建模任务上与基线相当(常识推理等 benchmark),检索类任务表现更好。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16