ICML 2026将探讨Transformer大激活现象

近期研究揭示了Transformer中两个常见现象的同源性：少数残差通道出现巨大激活，以及注意力异常集中到某个特定token上。作者指出，这两者本质上是相同的机制，并将在ICML 2026的HALL A会场举办学术分享，深入解析大模型异常激活与注意力汇聚的内在联系。

2026-07-09 ~ 2026-07-09 · 2 条相关

• ICML 2026：大模型异常激活与注意力汇聚分享 — alfcnz · 2026-07-09
• Transformer大激活与注意力汇聚同源 — alfcnz · 2026-07-09