稀疏注意力与涌现能力研究
Sauers_ · x · 2026-07-12
引用的论文题目是 **《Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns》**。 核心结论是：当 LLM 学习算法任务时，真正的瓶颈往往不是“会不会算”，而是**先学会该关注哪些 token**。这个过程既缓慢又不可预测，而且不同架构会显著影响结果。 转发内容补充了一个更具体的机制视角：在 copy / reverse 这类任务里，模型会形成已知的注意力模式（例如偏移的对角线注意力），再通过类似 pattern matching / induction 的方式完成任务；但这种方法计算开销较高，而且在某些场景下会失效。