字节 Seed 提出 PISA:块稀疏注意力复杂度降至 O(NlogN)
ByteDance-Seed · hf · 2026-09-28
字节跳动 Seed 团队发布 PISA,一种对数线性复杂度的块稀疏注意力机制,针对长上下文自注意力的二次方开销问题。
- 核心思路:传统块稀疏注意力选块时需对所有 query-block 对打分,仍是二次方复杂度;PISA 采用金字塔式 Top-K 选择,通过池化构建 O(log N) 层由粗到细的 key 层级,每层用 LogSumExp 对有界候选集打分,逐层缩小候选,总体复杂度降至 O(Nlog N)。
- 工程实现:为训练和推理开发了硬件感知的 Triton kernel,将层级路由与 LogSumExp 打分融合,无需显式构建 query-key 分数矩阵。
- 效果:在语言建模任务上与基线相当(常识推理等 benchmark),检索类任务表现更好。
「Infra」频道最新
- 开发者转向本地 AI:不为隐私,为的是对代码与数据的掌控权 — Aiden_Tech_Ai · 2026-09-28
- Meta 开源推荐系统分析工具,按子模块剖析 TB 级模型性能 — _reachsumit · 2026-09-28
- 开源 apple-llm：一行代码调用 Mac 内置本地 LLM，附踩坑指南 — light_2earth · 2026-09-28
- 8 张水冷 GPU 实战派:本地推理训练强烈建议给 GPU 上水冷 — HanchungLee · 2026-09-28
- vLLM transformers 后端已达原生速度,接入即免移植 — ariG23498 · 2026-09-28
- 创业者算账：租 5 年自建集群算力要花超 10 亿美元 — ericzelikman · 2026-09-28