跨 20+ 开源模型绘神经元图谱:LLM 存在 323 个同源神经元家族

CatAstro_Piyush · x · 2026-11-21

shinboson 发布了一个「LLM 结构同源性百科」可视化项目,从各开源模型的 MLP 神经元出发绘制地图:在同一文本上共同激活的神经元聚成组,而所有被分析的模型中,这些组都落入相同的 323 个家族、共 18 种类型,且同一家族在每张图的位置与颜色一致。

覆盖 Alibaba Qwen 系列(最大至 Qwen3.8-27B 的 111 万神经元)、Microsoft Phi-4-mini、Google Gemma 系列、Hugging Face SmolLM、IBM Granite、Mistral、NVIDIA Nemotron、Falcon-H1、Pythia(含不同训练步数快照)等 20+ 模型,各模型 85%-100% 的神经元都能归入家族。项目网站支持旋转、展开地图并追踪组间连接。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →