Sparse Rewiring:只学"何时触发"不学"触发后做什么"的稀疏微调法
maxsloef · x · 2026-11-11
同一线程中作者解释 Sparse Rewiring 机制:训练时冻结除每个神经元"检测端"(gate 与 up 向量)之外的所有参数,并对稀疏性加 L0 惩罚。这样训练只能改变"什么让神经元触发",不能改变"触发后它做什么",因此微调带来的变化可以用原始模型已有功能来解读。配图显示仅 89 个神经元被重接,其余 442,279 个保持不动。
所属事件:Sparse Rewiring:仅改 89 个神经元即可复现全量 SFT 人设(7 条相关)→
「研究」频道最新
- 细胞逆龄至 20 岁以下实验刷屏，博主科普「长寿逃逸速度」 — Dr_Singularity · 2026-11-12
- ICLR 2027 已有约 50 篇论文撞名 PRISM，学术命名趋同引热议 — deliprao · 2026-11-12
- 不用 LLM 达 37%:1 亿参数循环 Transformer 在 ARC-AGI-2 Kaggle 刷新纪录 — rbhar90 · 2026-11-12
- Chain Lens 团队还试了 Loom Lens:多行并行采样,暂未显著超越基线 — voooooogel · 2026-11-12
- 把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出 — voooooogel · 2026-11-12
- 用 chain lens 逐个解释 Qwen 27B 全部 110 万个 MLP 神经元，仅花 5 美元 — voooooogel · 2026-11-12