黄仁勋漫画系列图解滑动窗口注意力与 top-k 采样
cfregly 的「AI Systems Performance Engineering, the Huang Edition」系列继续更新,以黄仁勋、Lori、Alice 等卡通角色讲解 AI 概念:滑动窗口注意力中,窗口滑过的旧 token 即被遗忘;top-k 采样则只保留候选中分数最高的两项(Lori 73%、Alice 27%),过滤掉其余选项后重新归一化概率分布。
2026-11-11 ~ 2026-11-11 · 2 条相关
- 图解 top-k 采样:保留最高分两项,Lori 73% 对 Alice 27% — cfregly · 2026-11-11
- 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧token即被遗忘 — cfregly · 2026-11-11