一条推文讲透注意力机制：本质就是矩阵乘法
cneuralnetwork · x · 2026-11-09
cneuralnetwork 用一个最小数值例子拆解多头自注意力：4 个 token、嵌入维度 8、2 个注意力头。输入 X (4×8) 分别乘 Wq/Wk/Wv 得到 Q/K/V，按头拆成 (2,4,4)，计算 QKᵀ 后除以 √4 做 softmax，再乘 V，拼接回 (4×8) 并做输出投影，即完成一层多头自注意力（不含残差与归一化）。结论：attention 基本上就是多几步的矩阵乘法。
「研究」频道最新
- 最强 3D 生成模型仍反复犯三类低级错误：Z-fighting、单面几何、坐标系错位 — teortaxesTex · 2026-11-09
- EPFL 研究者将在线讲解掩码扩散语言模型的轨迹感知训练 — AnnaCiaunica · 2026-11-09
- UC伯克利等新论文：Agent 自我进化提分 5.2 却丢掉 10 个原本会做的任务 — rohanpaul_ai · 2026-11-09
- MoE训练终极手册已有中文版：3万字50+交互图表全覆盖 — Nouamanetazi · 2026-11-09
- 斯坦福DSP传奇Julius Smith三小时深度访谈上线YouTube — teropa · 2026-11-09
- 硬件感知 LDM 实现:状态回卷+窗口写入,大幅降低激活内存与访存开销 — SonglinYang4 · 2026-11-09