新论文以 Fisher 信息解释 LLM 后训练参数更新稀疏现象

UIUC 的 Yufan Zhang、Sagnik Mukherjee、Hao Peng 等人发布新论文,从 Fisher 信息视角研究一个实证现象:LLM 在后训练阶段的参数更新为何如此稀疏。该分析横跨强化学习、SFT 与 on-policy distillation 等多种后训练方法,对此给出了统一解释。有社区用户评价其为「本月读过的」值得关注的论文之一。

2026-10-15 ~ 2026-10-15 · 2 条相关

• 新论文用 Fisher 信息解释 LLM 后训练参数更新为何稀疏 — tokenbender · 2026-10-15
• Fisher 信息新论文解释:为何 LLM 后训练参数更新如此稀疏 — cephaloform · 2026-10-15