研究者窥探 Mamba 神经元:可定位并放大单个词的触发机制
burny_tech · x · 2026-10-29
作者对选择性状态空间模型 Mamba 做神经元级可解释性分析，通过 steering 工具筛出了一批功能明确的神经元，例如第 30 层 815 号神经元专门在「from」一词前的 token 上激活（held-out 检测准确率 0.85）。截图还展示了 clamp 干预实验：从小剂量到 20 倍强度放大该神经元，会让模型输出被「from」疯狂劫持，剂量过大时流畅度归零，呈现典型的干预剂量-流畅度权衡。
「研究」频道最新
- 为什么不能直接去掉 Transformer 的位置编码？答案是置换等变性 — cneuralnetwork · 2026-10-29
- MIT 研发可注射凝胶修复受损神经，早期实验恢复感觉与运动 — CurieuxExplorer · 2026-10-29
- OmniSpectra：跨仪器光谱基础模型，用连续坐标免重采样学习 — Md Khairul Islam · 2026-10-29
- LIMe 方法省 15% 训练算力：让注意力头复用更早层的表示 — ChampionshipLimp1749 · 2026-10-29
- 两个追踪 Lean 动态的实用站点：Papers With Lean 与 Lean Weekly — TZahavy · 2026-10-29
- Cohere Labs 三篇论文亮相 EMNLP 2026 ORACLE 工作坊 — Cohere_Labs · 2026-10-29