开源 neuron-explorer:对 Qwen3.5-4B 逐神经元做 steering 探索的 3D 可视化工具
viksit · x · 2026-10-26
一个面向 Qwen3.5-4B 的「steering 优先」神经元探索工具,531 星开源。
工作方式:对某层每个 MLP 神经元在若干提示词上做上推/下压,保留全部 rollout,结果呈现在模型的 3D 视图中可浏览。支持本地加载模型(MPS/CUDA/CPU)进行实时 steering 对话、lens、连接分析与在线推理。
上手:仓库自带缓存,uv sync 后运行 uv run python explorer/server.py(localhost:8791);sweep 脚本生成 runs/ 与 stats/ 数据。适合做机制可解释性与激活 steering 实验的起点。
「研究」频道最新
- 归零 16 个神经元，模型特定回复概率暴降 83 万倍 — Sauers_ · 2026-10-26
- VC 类信息复杂度难题被攻克，FOCS 论文给出正面结果 — roydanroy · 2026-10-26
- steering 单个神经元可扩大模型 J-space，残余流更呈 J-lens 形态 — Sauers_ · 2026-10-26
- UniForge3D 开源:稀疏视角生成高保真 3D 网格,可拼 Prompt 转 3D 管线 — mervenoyann · 2026-10-26
- 研究：美国三成 STEM 博士论文含 AI 生成文本 — 0xkarasy · 2026-10-26
- 2020 年提出的 11 大单细胞挑战至今无一完全解决 — Sauers_ · 2026-10-26