实测称GPT-2注意力机制具小世界网络特性
开发者实测验证了 Transformer 注意力机制具有“小世界”网络特性的假设。通过提取 GPT-2 的注意力矩阵并转化为图结构，发现训练后的模型确实符合该指标。然而对照实验表明，未训练的模型同样表现出相似特性，这说明小世界拓扑多半是由架构本身造成的，而非模型训练习得。
2026-07-15 ~ 2026-07-16 · 2 条相关
- 第 1 集:实测称GPT-2注意力机制具小世界网络特性(2026-07-15,2 条)
- 第 2 集:GPT-2注意力图分析避坑指南(2026-07-16,2 条)
- GPT-2 小世界拓扑多半是架构造成的 — its_vayishu · 2026-07-15
- 实测发现GPT-2注意力机制具小世界网络特性 — its_vayishu · 2026-07-16