FlashAttention硬核教程(一):代数基础
NoVibeCoding · reddit · 2026-07-08
作者开启《Learning FlashAttention the Hard Way》系列教程,第一篇聚焦理论代数基础:用现代代数形式证明 FlashAttention 是一个结合律运算,使其可被视为 GPU 上的标准归约操作,从而套用各种调度优化。 内容涵盖:safe softmax、Welford 方差与 FlashAttention 本质是同一种"隐式结合律"运算;twisted monoid 与 max-rescale 耦合不破坏结合律的原因;从零推导 FA-2 中的 qk_scale = log2(e)/√D;数值分析(溢出界、误差限、为何分块不放大误差);以及用 Bird 第三同构定理检验任意循环是否隐式结合律。