新论文:按梯度范数排序注意力头,稀疏 RL 微调媲美全量训练
SimonShaoleiDu · x · 2026-10-28
arXiv 论文（Ruizhe Shi、Banghua Zhu、Maryam Fazel 等）研究语言模型稀疏与持续 RL 微调，由 Simon Du 转发。
- 稀疏学习：按梯度范数对注意力头排序，只训练排序靠前的小部分头即可有效微调，理论上证明了梯度范数与训练有效性的关联
- 持续学习：将注意力头按任务划分（partitioning），减少跨任务干扰、保留旧能力
- 实验结果：在数学、指令遵循、编码任务上，调优高排名头持续优于低排名头，且往往与全量微调基线持平；头划分策略在保留旧能力的同时保持新任务适应性
对可解释性/算法研究（RL 训练中只有少数注意力头重要）有呼应，对持续学习有直接意义。
「研究」频道最新
- RL 只是重排推理策略而非扩边界：新论文给出理论与 scaling 律 — burny_tech · 2026-10-28
- MIT 研究：去掉眉毛比去掉眼睛更让人认不出名人脸 — aakashgupta · 2026-10-28
- Qwen3-8B 单神经元激活出 34220 个「人格」，Agent 已能上手神经可解释性 — burny_tech · 2026-10-28
- 仅2-4次SGD更新即出现权重签名，权重已偏移约8% — maier_ak · 2026-10-28
- 同一任务训练出的神经网络并非殊途同归：四次更新后权重即聚类 — maier_ak · 2026-10-28
- 微软发布合成文档 QA 基准：100 份 PDF 承载 9798 道题测 RAG — kalyan_kpl · 2026-10-28