Neuron Tuning 微调法：只调少量神经元，对无关文本扰动比 LoRA 低 3-19 倍
burny_tech · x · 2026-11-02
Jonathan Chang 提出 Neuron Tuning：不更新权重矩阵，而是只微调在目标上下文中激活的少数神经元，让修改效果局限于该上下文。
- 与 LoRA 相比，对无关文本的改动减少 3-19 倍
- 配图展示三组实验（改口语风格、一句话答天气、学 160 条虚构人物事实）：按梯度或激活选择性挑选的神经元，副作用比同规模 LoRA（rank 8，1200 万参数）低 5-19 倍；而全局激活的神经元反而带来 4-37 倍的更大扰动
- 核心结论：神经元挑选的「上下文选择性」决定微调的局部性，选对神经元比选对方法更能避免灾难性副作用
「研究」频道最新
- NBER 论文提出「科斯式利益相关者理论」：以关停权力定义谁有谈判席位 — sebkrier · 2026-11-02
- FAST-MaP 协议：RNA 结构 AI 方法开发转向隔夜纳米孔测序 — anshulkundaje · 2026-11-02
- 无需账号：一份帮你发现有趣 arXiv 论文的精选合集 — omarsar0 · 2026-11-02
- livgorton：「困在旧范式」成敷衍式批评，mech interp 仍是前范式学科 — livgorton · 2026-11-02
- VTuber 直播详解 IPD×NVIDIA 蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-11-02
- GSM1k 复测揭基准污染：部分模型掉 8 分，企业 Agent 应在真实数据上评测 — krishnan · 2026-11-02