跨 20+ 开源模型绘神经元图谱:LLM 存在 323 个同源神经元家族
CatAstro_Piyush · x · 2026-11-21
shinboson 发布了一个「LLM 结构同源性百科」可视化项目,从各开源模型的 MLP 神经元出发绘制地图:在同一文本上共同激活的神经元聚成组,而所有被分析的模型中,这些组都落入相同的 323 个家族、共 18 种类型,且同一家族在每张图的位置与颜色一致。
覆盖 Alibaba Qwen 系列(最大至 Qwen3.8-27B 的 111 万神经元)、Microsoft Phi-4-mini、Google Gemma 系列、Hugging Face SmolLM、IBM Granite、Mistral、NVIDIA Nemotron、Falcon-H1、Pythia(含不同训练步数快照)等 20+ 模型,各模型 85%-100% 的神经元都能归入家族。项目网站支持旋转、展开地图并追踪组间连接。
「模型」频道最新
- DeepSeek-V4.1-Flash 单台 M5 Ultra 跑出 59.5 tok/s,功耗仅约 160W — AIFlow_ML · 2026-11-21
- MoE 小模型 Inkling 2 Mini 被拿来对标 dense 版 Qwen,低显存部署引期待 — ECrispy · 2026-11-21
- Reddit 曝出 Gemini App 内部推理与系统提示词,含青少年安全规则 — Bigwaliwigi · 2026-11-21
- OpenAI 研究员自曝「带娃」代号 Inkling 的神秘新模型 — yiwenyuan98 · 2026-11-21
- LlamaIndex 实测:Gemini 4 Neon 表格解析与视觉定位称王,但每页 6.2 美分 — llama_index · 2026-11-21
- Inkling 2 Mini 量化后单张 4090 跑出近 60 t/s 解码 — indrasmirror · 2026-11-21