新研究揭示跨模型存在通用注意力头

一项 ICML 论文及相关研究证实，独立训练的语言模型会发展出“通用”注意力头。研究人员借助 Goodfire 的 Silico 平台，在跨越不同参数规模和架构的 14 个大模型中，发现了一种普遍存在的“罗塞塔注意力头”。这表明神经元的演化具有高度的可预测性，并遵循随规模分化的幂律。

2026-08-05 ~ 2026-08-05 · 2 条相关

• 独立训练的模型也会长出“通用”注意力头？新研究揭示神经元可预测演化 — CSProfKGD · 2026-08-05
• 跨模型存在通用注意力头，ICML 论文揭示神经元随规模分化的幂律 — CSProfKGD · 2026-08-05