Google 研究员解密 5:1 SWA 分层设计：源自 XLA 编译与 TPU 约束
teortaxesTex · x · 2026-10-17
这条转发虽是吐槽性评论，但被引用的对话来自 Google 研究员 Aurko Roy，包含稀疏注意力架构演进的干货：
- interleaved SWA 与全局层按 5:1 交错、窗口 512 的设计，源自将 Routing Transformer 与 scan 层合并——XLA 偏好重复块以缩短编译时间。
- top-k 稀疏注意力在 TPU 上实现更难，成功的稀疏化大多发生在 GPU 阵营（DeepSeek、MiniMax 等）。
- 后续讨论指出：512 窗口 5:1 意味着每六层有五层在 512 token 后不再增长 KV cache，128k 上下文只需为约六分之一的层付缓存，这是这类模型能在单机跑长上下文的原因；而 GPU 上的稀疏方案仍需保留全部 KV 供 top-k 选择，SWA 才是真正缩小缓存的方案。
发帖人借「人类带来增量信息、bot 只会附和」表达对技术讨论质量差异的观察。
「Infra」频道最新
- Vercel 用 AI agent 把 tsgo 移植回 TypeScript，tsc-ts 比 tsgo 快 2-4 倍 — cramforce · 2026-10-17
- Kevin O'Leary 拟在犹他州建年耗 5.58 亿加仑水的数据中心引抗议 — Zachly · 2026-10-17
- AI 挤爆内存之际,有人盼着 RAM 涨价逼退小学生 Chromebook — RachelVT42 · 2026-10-17
- Compute Labs 推出 GPU 融资平台，撮合算力运营商与资本方 — paigeinsf · 2026-10-17
- Anthropic 获 BB+ 评级，华尔街拟再筹 600 亿美元 AI 芯片融资 — basedjensen · 2026-10-17
- Qdrant 实测 Perplexity 视觉文档嵌入:压缩 21 倍仍保留 96.5% 召回 — jrxna · 2026-10-17