JSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍
SNU-VLSI · hf · 2026-10-15
首尔国立大学团队提出 JSSA（Joint Subspace Sparse Attention），解决长上下文 LLM 解码中 KV-cache 流量瓶颈。
- 针对两个挑战：token 级选择的低维打分可能丢失排序所需的 query–key 结构；收集分散 token 可能抵消延迟收益
- 选择质量：学习共享低维 query–key 子空间，用可解的边际目标（闭式谱解）上界原非凸目标
- 执行效率：开发免 gather 的 token 级 indexed-attention kernel，支持标准 GQA KV-cache 布局下每个 KV-head 的独立选择
- 结果：在 GQA、混合滑窗/全局注意力、MLA 模型上均接近 full-KV 精度；在 NVIDIA B200 上 128K 上下文解码吞吐最高达 full-KV 的 6.43 倍；无需训练即可达到模型原生 DSA 相当的推理精度，并在 700B 级模型上达到其 96–99% 的解码吞吐
「Infra」频道最新
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- Hugging Face Hub 模型张量检查提速最高 20 倍，DeepSeek-V3.2 从 9.2 秒到 0.45 秒 — victormustar · 2026-10-15
- 日本 RTX 5060 Ti 16GB 价格飙 144% 至 $1292，黑五恐难有折扣 — chemist_slime · 2026-10-15
- Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发 — vllm_project · 2026-10-15
- 1174 台 Mac 组网跑开源模型:Darkbloom 60 天增 4.5 倍,成本砍半 — gajesh · 2026-10-15
- 曝字节跳动洽购联发科定制 AI 芯片，效仿谷歌自研路线 — mark_k · 2026-10-15