新研究：滑动窗口注意力+Attention Sinks 可替代二次方注意力
woadwarrior · reddit · 2026-08-31
介绍 Alexia Jolicoeur-Martineau 等人的一篇新论文。研究提出使用滑动窗口注意力结合 Attention Sinks 机制，无需后续训练即可替代传统的二次方复杂度注意力。该方法有望显著降低内存受限环境下本地 LLM 推理的显存占用，提升长文本处理效率。
所属事件:零成本滑窗注意力+sinks 击败后训练线性注意力(9 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16