探讨 MoE 与稀疏注意力中的稀疏度估算器
menhguin · x · 2026-07-17
这篇博客探讨了在稀疏计算（尤其是 MoE 和 Sparse Attention）中常被忽视的“估算器”选择问题。作者讨论了如何低成本地建模被跳过的计算工作，并以此为基础，提出了构建更优稀疏架构的设计空间。
「研究」频道最新
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- Bug Hunt Bench 放榜:105 个真实埋 bug 横评前沿编码模型 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11