跨模型存在通用注意力头，ICML 论文揭示神经元随规模分化的幂律
CSProfKGD · x · 2026-08-05
Nikhil Prakash 借助 Goodfire 的 Silico 平台，在跨越不同参数规模和架构的 14 个大模型中，发现了一种普遍存在的“罗塞塔注意力头”。这些注意力头在不同模型中展现出相似的功能模式与 OV 电路。
这一发现与 Amil Dravid 等人近期提交至 arXiv 的论文《Neuron Populations Exhibit Divergent Selectivity with Scale》相呼应。该论文指出：
- 亚线性幂律增长：随着模型规模扩大，跨模型间共享激活模式的“罗塞塔神经元”绝对数量在增加，但占总神经元的比例在缩小。
- 神经元极化效应：这些共享神经元在规模扩大时变得更加专一（单语义化），而其他非共享神经元则保持较低的选择性。
- 应用价值：研究通过一个持续预训练的数据过滤案例展示了其实用性，并指出这种微观神经元层面的结构变化同样遵循可预测的缩放规律。
「研究」频道最新
- YC S26 项目 Omanta：用 AI 为癌症患者提供个性化研究 — ycombinator · 2026-08-05
- 实证打脸自我反思：36次对比全无胜绩，模型自检反降10% — omarsar0 · 2026-08-05
- 传 SSI 突破持续学习，但新模型对齐难度陡增 — teortaxesTex · 2026-08-05
- Mistral AI 发布 Leanstral，助力 AI 数学定理验证 — sophiamyang · 2026-08-05
- 提出通用稀疏自编码器：实现跨模型概念对齐 — CSProfKGD · 2026-08-05
- Terminal-Bench 推出科学版基准，征集科研工作流测试 AI 智能体 — heyneighbor · 2026-08-05