新论文用 Fisher 信息解释 LLM 后训练参数更新为何稀疏
tokenbender · x · 2026-10-15
Yufan Zhang、Sagnik Mukherjee、Hao Peng(UIUC)的新论文从 Fisher 信息的视角研究一个实证现象:LLM 在后训练阶段的参数更新为何如此稀疏。工作将理论分析与 RL、SFT、on-policy 蒸馏三种范式下的实验发现打通,解释了哪些参数在微调中真正被改动、为什么。对理解后训练动力学与高效微调有参考价值。
「研究」频道最新
- AlphaNIST 单策略通关 20 项 NIST 装配任务,仿真成功率 98.2% — hbouammar · 2026-10-15
- Depth Memory 框架提出线性深度记忆,在 DepthBench 上表现亮眼 — SonglinYang4 · 2026-10-15
- 曼彻斯特大学神经场优化混合制造，GE-Bracket 估算制造时间省 68.3% — jiqizhixin · 2026-10-15
- Tev-Gym 发布：1170 个长程 RL 环境练出比肩前沿的 agent — RulinShao · 2026-10-15
- Claude 逐点拆解 EDAR-硒缺陷假说：拼凑事实加推测不成立 — teortaxesTex · 2026-10-15
- 微软AutoEnvScaling自造RL环境,Qwen3终端成绩从41.1提至53.3 — omarsar0 · 2026-10-15