JSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍
pmttyji · reddit · 2026-10-29
论文提出 Joint Subspace Sparse Attention(JSSA),解决长上下文 LLM 解码中 KV-cache 访存瓶颈的 token 级稀疏注意力方案。
- 选择质量:学习共享的低维 query–key 子空间，最小化 token 分数保留误差；将非凸目标上界化为可闭式求解的谱问题，直接精修原目标在测试中无增益。
- 执行效率:开发免 gather 的 token 级 indexed-attention 内核，支持 GQA KV-cache 布局下每个 KV head 不同的选择。
- 结果:在标准 GQA、混合滑窗/全局注意力和 MLA 模型上均接近全 KV 精度，避免了竞品的生成长度膨胀与架构相关失败;在 NVIDIA B200 上 128K 上下文解码吞吐最高达全 KV 的 6.43×;无需训练即可达到模型原生 DSA 的推理准确率，在 700B 规模下仍达其 96–99% 吞吐。
代码开源于 GitHub,论文见 arXiv。
「Infra」频道最新
- 「便宜 AI token 快用完了」：机器人投币梗图引共鸣 — Suspicious_Orchid770 · 2026-10-29
- 嫌弃 ComfyUI 太重?stable-diffusion.cpp 跑 Flux Klein 四个文件搞定本地生图 — srigi · 2026-10-29
- GPU unlock 对多数人无用:量化模型与游戏零提升,bf16 装满显存才受益 — Justify_87 · 2026-10-29
- 美国 AI 电力三条线：核电签约超 10GW，地热已并网，SMR 在审批 — ingliguori · 2026-10-29
- Revolut 自托管 GLM，编码成本降到前沿模型十分之一 — AI Engineer · 2026-10-29
- Jarvislabs 12 月上线 1024 张 NVIDIA B200，已开放预订 — amaarora · 2026-10-29