实测发现GPT-2注意力机制具小世界网络特性
its_vayishu · x · 2026-07-16
作者实测验证了 Transformer 注意力机制可能具有“小世界”网络特性的假设。
- 实验设计：从 GPT-2 中提取真实的注意力矩阵，通过 top-k 阈值化将其转换为图结构，并计算了所有层和头的聚类系数与路径长度。同时构建了一个未训练的相同架构模型作为对照组，以区分“学习到的特征”与“架构先天属性”。
- 惊人结果：实验不仅发现了极其显著的真实效应（p=2e-26），更离奇的是，模型在同一个 Notebook 中随后“自杀”了（推测为出现了自我毁灭的异常输出或行为），作者认为这一意外现象背后的机制非常值得深入阅读。
所属事件:实测称GPT-2注意力机制具小世界网络特性(2 条相关)→
「研究」频道最新
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27
- EMNLP 论文：让 LLM 换个问法，「42」变「3」但蝴蝶仍是帝王蝶 — radamihalcea · 2026-10-27
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27