作者为 HF LLM 推理实现滑窗注意力，实测 32K 上下文 KV 缓存 3.5MB
ahsaor8 · reddit · 2026-09-06
作者将滑窗注意力（SWA）实验做成了可复用的开源项目 swallm，供 HF 因果 LLM 测试长上下文推理的 KV 缓存优化。
- 实现要点：少量 attention sink token + 有界近窗 token、环形缓冲 KV 缓存、流式/分块 prefill、常规自回归解码；几行代码即可从预训练模型加载 SWA 模式。
- Qwen2.5-7B 实测（L40S）：32K 上下文 KV 缓存约 1.84GB（全注意力）对约 3.5MB（SWA-64）；64K 下全注意力 OOM 而 SWA 依然有界；解码延迟随上下文增长基本恒定。
- 定位：不宣称 SWA 全面更优，重点在上下文保留、KV 内存、TTFT 与解码速度之间的工程权衡；欢迎大家在 Llama、Mistral、Gemma 等架构上测试并反馈兼容性问题。
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23