UIUC 论文:仅更新 0.1% 参数即可复现 85% RL 训练收益

burny_tech · x · 2026-10-20

UIUC 团队论文《Understanding LLM Parameter Update Sparsity through the Lens of Fisher》研究了 LLM 后训练(RL、on-policy 蒸馏、近策略 SFT)中参数更新高度集中于少数坐标的现象。

• 理论:对角 Fisher 信息衡量模型输出分布对单个参数的敏感度,与具体奖励或教师信号无关。作者证明小对角 Fisher 意味着在多种训练目标下期望梯度都小,为稀疏更新提供统一解释。
• 实证:训练前用初始 Fisher 选出的固定稀疏掩码即可保留大部分全量训练收益——在 Qwen3-1.7B 上,只更新 Fisher 选出的 0.1% 参数可恢复全量 RL 训练 85.2% 的提升,更新 5% 可恢复 98.8%。
• 机制:on-policy 训练中 Fisher 低的原因是高概率 next token 往往具有相似的参数敏感度(如 "tea" 与 "coffee" 的相对概率几乎不受单个参数影响)。

结论是对角 Fisher 可作为连接后训练更新稀疏性与 on-policy 训练动力学的统一视角,并能在训练开始前识别梯度集中位置。

原文链接 →

「研究」频道最新

• 用生成模型估计 PMI 直接监督表征点积，或成表征学习新范式 — vincesitzmann · 2026-10-20
• 对数收益的正解:机会分布在多个数量级成本上,而非单纯有界 — DimitrisPapail · 2026-10-20
• 无需难度标注：Stackelberg 框架自动涌现随训练推进的课程 — shangbinfeng · 2026-10-20
• Stackelberg Alignment：把 LLM 分歧变成多模型协同训练信号 — shangbinfeng · 2026-10-20
• 花不到 20 美元用 RL 微调 Qwen3.5-0.8B,pass@1 从 10% 提到 36% — LysandreJik · 2026-10-20
• 发布机器人双基准：MicroPlanBench 与 MicroAnnotationBench 首批排名揭晓 — chris_j_paxton · 2026-10-20

更多「研究」频道 AI 资讯 →