Dense Attention 里大多数 token 其实不重要
seanmcdonaldxyz · x · 2026-07-15
转发内容引述一项观察：即使在完整的 dense attention 里，**99% 以上 token 的相对重要性也很低**，说明大多数计算其实被浪费了。 帖子还提到，Co-Founder / CTO @alex_whedon 与 @fredericl 在 *The New Stack* 里讨论了一类新的 AI 架构和模型。
seanmcdonaldxyz · x · 2026-07-15
转发内容引述一项观察：即使在完整的 dense attention 里，**99% 以上 token 的相对重要性也很低**，说明大多数计算其实被浪费了。 帖子还提到，Co-Founder / CTO @alex_whedon 与 @fredericl 在 *The New Stack* 里讨论了一类新的 AI 架构和模型。