一张图看懂 FlashAttention:瓶颈不是计算而是搬运数据
cneuralnetwork · x · 2026-10-29
一张对比图讲清标准 Attention 与 FlashAttention 的差异:
- 标准 Attention:在 GPU 显存里物化 N×N 中间矩阵(S=QKᵀ、P=softmax(S)、O=PV),反复读写大矩阵,数据搬运开销巨大。
- FlashAttention:把 Q/K/V 切成小块(如 64×64)载入片上高速 SRAM,在 tile 内完成注意力计算与数值稳定的在线 softmax, partial 结果在 SRAM 中累加,避免生成大中间矩阵。
- 核心洞见:瓶颈不在计算,而在数据搬运(memory traffic)。
- 结果:显存读写大幅减少,注意力结果完全一致,更快也更省显存。
「Infra」频道最新
- Prime Inference 上线 OpenRouter 一个月，日处理 token 从 0 冲到 1200 亿 — xeophon · 2026-10-29
- 上交大 TAO 调度框架:工具感知使 Agent 服务延迟最多降 26.8% — AIOR-Research · 2026-10-29
- Nscale 冲击 300 亿美元估值 IPO，CEO 经验尚浅临危上阵 — bloomberg · 2026-10-29
- 单张 RTX 5080 跑 Qwen3.8 Flash Next：IQ3_S 量化峰值 275 tok/s — yehyakar · 2026-10-29
- 谷歌云 CEO：苹果在最新 TPU 上扩展基础模型预训练 — shayan_ · 2026-10-29
- Particle-1 推理服务上线 OpenRouter,输出 token 省 28-52% — ycombinator · 2026-10-29