探讨 MoE 与稀疏注意力中的稀疏度估算器

menhguin · x · 2026-07-17

这篇博客探讨了在稀疏计算（尤其是 MoE 和 Sparse Attention）中常被忽视的“估算器”选择问题。作者讨论了如何低成本地建模被跳过的计算工作，并以此为基础，提出了构建更优稀疏架构的设计空间。