只训 Fisher 评分前 0.1% 坐标，即可拿到全量训练约 85% 收益
YouJiacheng · x · 2026-10-15
RichardYRLi 概述了一篇论文的核心结论：在 on-policy 情况下，得分（score）均值为零，因此对任意 reward 都有 |gi| <= sqrt(E[Var(r|x)]) sqrt(Fi)，其中 Fi 只依赖模型本身。
这意味着可以在看到 reward 之前就对坐标排序：只训练按初始 Fisher 信息排名前 0.1% 的坐标，就能在 on-policy 策略梯度类方法上恢复约 85% 的全量训练收益。YouJiacheng 转发并称其「非常有意思」。
「研究」频道最新
- 研究者纠错:模型行为差异源自数据与 RL,而非梯度下降 — PMinervini · 2026-10-15
- SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议 — cephaloform · 2026-10-15
- Quanta 长文追问:注意力机制是智能的本质吗? — mikeflache · 2026-10-15
- Fisher 信息新论文解释:为何 LLM 后训练参数更新如此稀疏 — cephaloform · 2026-10-15
- PersonalAgentEval 发布:7 款个人 Agent 实测仅两家领先 — HennyJieCC · 2026-10-15
- HapticWorld:可「触感」的世界模拟器,实时渲染力矩反馈 — Scobleizer · 2026-10-15