Abhik Sarkar 26 篇交互图解:RoPE、KV cache、FlashAttention 不再是黑话
techNmak · x · 2026-09-04
推荐 Abhik Sarkar 的 Transformers & LLMs 可视化概念集:在理解 vanilla attention 之后,它用交互图解讲明 RoPE、KV cache、FlashAttention、MQA、GQA、滑动窗口注意力和 attention sinks,共 26 个概念,覆盖 ViT 的 CLS token、层级注意力、位置编码、多头注意力等。
上一位推荐 Distill 期刊存档:虽停刊但仍是 t-SNE 使用、特征可视化、Activation Atlas、GNN 入门等经典文章的宝库。
所属事件:别再从静态图学 AI：从入门到研究级的可视化学习资源全集(13 条相关)→
「研究」频道最新
- ACS 推免费平台，研究者可白嫖 Llama 3.1 8B/405B 基座模型 — jankulveit · 2026-10-21
- LessWrong 长文引入「LM 心理学」：像心理学家一样直接与模型对话 — jankulveit · 2026-10-21
- LiFT 循环复用 DiT 核心：参数减 60% 仍胜稠密基线 3.34 FID — burny_tech · 2026-10-21
- 斯坦福学者激辩基因组大模型:变体预测成绩为何只挑着报 — anshulkundaje · 2026-10-21
- Gemini 数小时破解悬置 59 年的核聚变磁场数学猜想 — DynamicWebPaige · 2026-10-21
- Bombadil:解码植物生物电信号的基础模型问世 — tdhopper · 2026-10-21