Neuron Lens 新增电路视图：直观追踪 Qwen3 与 Gemma 激活流向

burny_tech · x · 2026-11-12

可解释性工具 Neuron Lens 新增 circuits(电路)功能,展示激活如何在不同特征之间流动。作者发现这些激活流往往高度可读(legible),即模型内部的激活传递路径能用人类可理解的方式呈现。

Neuron Lens 本身是一个神经元/注意力头可视化浏览器:针对 Qwen3-8B 和 Gemma 4 12B,每个神经元与注意力头都有专属地址(如 /qwen3-8b/L8/n344 是 Qwen3-8B 第 8 层第 344 号神经元),浏览器端用 JavaScript 绘制,展示每个单元对什么输入响应、以及它会让模型输出什么。数据目录托管在 Hugging Face 上。