用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧token即被遗忘
cfregly · x · 2026-11-11
cfregly 发布「AI Systems Performance Engineering, the Huang Edition」系列节选,用 Jensen、Lori、Alice Huang 三个卡通角色图解滑动窗口注意力(SWA):每个 query 只能看到自身槽位和前 2 个槽位,窗口向前滑动后旧的 Lori token 掉出视野,形成「选择性记忆」。帖内链接了 Mistral 7B 论文,SWA 正是该模型用来以更低推理成本处理任意长度序列的核心技术之一。
所属事件:黄仁勋漫画系列图解滑动窗口注意力与 top-k 采样(2 条相关)→
「Infra」频道最新
- 苹果曝新应用 Harbor：多台 Mac 雷电5组集群跑本地 AI 推理 — BenBajarin · 2026-11-11
- Agent Arena 实测:任务越难 Gemini 4 Carbon 成本优势越大 — rseroter · 2026-11-11
- Chips and Cheese 深析 AMD Zen 6:分支误预测代价显著降低,整数调度回归 Zen 3/4 布局 — jedisct1 · 2026-11-11
- Together 研究负责人谈内核原理与 AI 优化自身推理的循环 — togethercompute · 2026-11-11
- PyTorch ExecuTorch 新增 WebGPU 后端:模型一次导出浏览器直跑 — PyTorch · 2026-11-11
- Hedra 让 AI Agent 跑训练实验，人类研究员只做引导 — testingcatalog · 2026-11-11