Score Centering 实现细节:topk(128) 加 ρ 重缩放抵消漂移
nrehiew_ · x · 2026-10-16
nrehiew 继续解读 Score Centering 论文的实现细节:为修正偏差,需要在梯度中减去交叉熵漂移项。
实践中,该 stop-gradient 项只需用词表的 topk(128) 概率来计算,但为此需要引入系数 ρ——根据尾部(非 top-k)概率对 top-k 进行重缩放,使总和仍为 1。这大幅降低了修正项的计算开销。
所属事件:RL 训练漂移被证实等价于向采样模型蒸馏(2 条相关)→
「研究」频道最新
- ETH Zurich 提出 LFD：用冻结 LLM 当老师，自然语言驱动药物设计生成器 — rohanpaul_ai · 2026-10-16
- 社区热议能否用 Claude Sonnet 3 对话数据训练模型 — Sauers_ · 2026-10-16
- 有人求购 Sonnet 3 对话数据集引出社区共享 — arm1st1ce · 2026-10-16
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- 网友自建 LEGO 搭建评测：GPT-6 Astra 力压 Opus 夺魁 — TheLegoless · 2026-10-16
- tszzl 给出理论：Tornado 经 Apache 一路联想到 Colorado — tszzl · 2026-10-16