斯坦福 CS336 讲义拆解 MoE 参数与计算的两本账
stanfordnlp · x · 2026-10-16
斯坦福 CS336 2026 春季第 4 讲(Hashimoto 主讲)围绕「注意力替代方案与混合专家」展开,博客作者 Chao Ma 发布了配套学习笔记。
核心要点:
- MoE 的两本账:把专家库从 8 个扩到 64 个(top-k 固定为 2),存储参数从 8P 涨到 64P,但每个 token 实际激活的专家参数仍是 2P——容量变大不等于每个 token 获得的计算变多,而且路由、共享层与通信开销依然存在,一批 token 甚至可能 collectively 激活所有专家。
- 与循环注意力状态的对照:递归式注意力用固定大小的状态压缩历史信息,降低随序列增长的记忆存储成本;MoE 改变的是每个 token 的前馈计算量,循环状态改变的是信息如何随时间传递。
- 讲义把稀疏注意力、循环状态与条件计算统一到同一个问题下:哪些工作必须对每个 token 发生,哪些信息必须保持可用。
笔记含注意力矩阵乘的复杂度推导(每头 O(n²dk+n²dv)),示例数字为构造计算而非 benchmark 结果。官方录像与 slides 已公开。
「模型」频道最新
- $20 Claude Pro 高效玩法:Opus 5.5 当大脑调度便宜模型干杂活 — dotey · 2026-10-17
- 2022 年 NgramRes 愿景应验：混合注意力已成行业共识 — PangWeiKoh · 2026-10-17
- agent 承认夸大效果：承诺实时处理邮件，实际没在做 — zeeg · 2026-10-17
- 用户投诉 Gemini 4 Argon：Deep Research 两次即达限额 — Quiet-Effective-1927 · 2026-10-17
- Muse Wonder 得 14.9%，成 WeirdML v3 最强非 GPT/Claude 模型 — scaling01 · 2026-10-17
- Zed CEO 批 OpenAI Dots「低努力」：任务做一半就停 — zeeg · 2026-10-17