Qwen3.5-4B 的 R 与 J++ 神经元 lens 开源,附可跑的读数工具

burny_tech · x · 2026-10-29

bubskee 在 Hugging Face 发布 Qwen3.5-4B 文本解码器的 R 与 J++ workspace lens(Apache-2.0)。包含每层 FP32 transport matrix、独立 reader 与冻结评测结果;作者称 J++ 在 heldout 任务上提升了概念恢复率,多语言增益主要来自 relations 与输入概念,并强调这些读数是待验证假设而非神经元因果标签。Reader 支持 CUDA/MPS/CPU,仓库附带 pip 安装与 readlenses.py 命令,可对自定义 prompt 输出 logit、R、J++ 的 top-10 读数,支持选择 lens 或对全词表排序。作者邀请可解释性研究者对比读数与 top-activating 样本及干预结果。