「像 GPU 一样看」:用轴图直读 attention 的并行与归约
vtabbott_ · x · 2026-09-28
这是 vtabbott 与 Gioele Zardini 合作的图表（diagrams）更新系列的后续。核心主张：GPU 眼中一切皆「轴」（axes）——批量、并行、流式和归约都是沿某个轴进行的。
作者演示：用轴图重画 attention，可以立刻看出 q 轴在每个表达式里是如何被并行化的，而常见的 attention 写法反而看不出 matmul 作用在哪个轴、softmax 又归约哪个轴。这套「像 GPU 一样看」的图示方法能直观揭示并行化模式。
所属事件:vtabbott_ 与 MIT 合作大幅更新交互式 Attention 图解页(5 条相关)→
「Infra」频道最新
- Framework 192GB AI 桌面版本周三开启预售，配 AMD Ryzen AI Max+ Pro 495 — gnukeith · 2026-09-29
- OriginTrail DKG V10.0.19 上线：AI Agent 读图更快更省 CPU — melnykowycz · 2026-09-29
- INT21 称两周造 20 个推理引擎,MiMo 解码达 1308 tokens/s — bingxu_ · 2026-09-29
- 用 Amazon Nova Act 做合成监控：告别脆弱 UI 选择器脚本 — AWS ML Blog · 2026-09-28
- NVIDIA 展示 Qwen 27B 模型输出速度达每秒 2529 tokens — IanAndrewsDC · 2026-09-28
- Textract 适配器跨账户生命周期管理：参数外置实现零停机换版 — AWS ML Blog · 2026-09-28