Planning to Learn
Ian Osband
cs.LG, math.OC, stat.ML
2026-10-03
标签已知时精确策略梯度可一次算完，ImageNet 预期准确率仍只有 4.2%，交叉熵 62%。按剩余预算截断得到 horizon loss，top-1 再高 1.0 到 2.4 个点，噪声越大优势越大。
大模型后训练靠策略梯度：按当前策略采样动作，用回报把该动作的概率往上推。不稳时，常见解释是探索不够、信用分配难、动作采样有噪声。分类把这三件都拿掉了。标签已知，对错即时结算，所有类别都能加总，期望准确率的梯度可以精确算出来。
ImageNet 上 ResNet-50、同一个常数学习率，精确策略梯度的期望准确率只有 4.2%，交叉熵到 62%。
梯度只看下一步。正确类概率 0.9 和 0.01 的两个样本，抬对数几率的成本相同。对数几率是正确类 logit 减去其余类的 log-sum-exp。概率对它的斜率 p(1-p) 分别约 0.09 和 0.01，精确梯度给已经比较准的样本大约九倍权重。所剩步数很少时这是对的。所剩步数很多时，该投入几乎为零的那个。这一步值多少，取决于还剩多少学习。
去掉网络，每个样本只留间隙 z，正确类概率 p=σ(z)。精确策略梯度的权重是 p(1-p)，交叉熵是 1-p。方向一样，差别在预算给谁。
交叉熵等于一条积分：此后学习若全给该样本，z 以单位速度上升，沿途误差积到无穷。它按训练永不停止计价，最重的是最远、这场也修不完的样本。
积分截到剩余学习 H，权重变为 σ(z+H)·(1-p)。前一项是预算全给它时还来得及做对的概率。H 为 0 回到精确策略梯度，H 很大回到交叉熵。已经做对的剩余误差小，视野之外的成功概率接近 0，两头一起降权。
剩余 logit 进度用未完成的学习率之和估计，再乘标定常数 κ。常数学习率下该和线性降到 0。κ 按数据集和日程各标一次：常数学习率 MNIST 为 1、ImageNet 为 3，余弦退火都为 0.3。ImageNet 的 κ 在 ResNet-50 上选定，其余架构和噪声档沿用。
H=2a、间隙 (a,-2a) 时，最优全给困难样本。精确梯度不含 H，也分不清间隙正负，只吃到最优增益的 4σ'(a)，随 a 指数消失。M 个视野外的废样本会让能做完的那个至多分到 1/(M+1) 的预算。horizon loss 的遗憾不超过 2ae^{-a} 与 HMe^{H-a}。固定 H 的式子并不新：H=0 为分类绝对误差，广义交叉熵是多个视野的混合。新在 H 随剩余预算缩短。
实验只换损失。MNIST 用两层隐藏层的 MLP，30 个种子。ImageNet 训 30 个 epoch，模型为 ResNet-50、ResNet-101、ViT-S/16，种子 3 到 10 个。默认常数学习率，日程本身不表达剩余预算。
| 设置 | 指标 | 结果 |
| ResNet-50，学习率 10^{-3} | 期望准确率 | 精确梯度 4.2%，交叉熵 62%，horizon loss 67.5% |
| ImageNet 三模型，常数学习率 | top-1 | 误差比交叉熵低 1.0 到 2.4 个点 |
| 同上 | 期望准确率 | 高 4.7 到 5.4 个点 |
| MNIST | top-1 | 误差比交叉熵低 0.16±0.04 |
| MNIST | 相对精确梯度 | 期望误差降 24%，top-1 误差降 29% |
| ImageNet，余弦退火 | top-1 | 优势约 0.6 个点，各模型仍好于交叉熵 |
| 标签翻转，ResNet-50 | top-1 优势 | 噪声 10% 为 3.3 点，50% 为 7.3 点 |
| 标签翻转，MNIST | top-1 优势 | 由 0.1 点到 2.7 点 |
| horizon cross-entropy，κ=10 | 测试 NLL | MNIST 0.103 到 0.089，ResNet-50 1.467 到 1.364 |
期望准确率多出的这部分，有一部分只是概率变尖，top-1 动得更少。
常数学习率 10^{-3}、约 15 万步，ResNet-50 初始 H 约 450，远大于还在动的间隙。前大半段几乎等于交叉熵，曲线到最后几个百分点才分开。MNIST 初始 H 约 10，分开得早。
MNIST 在 30% 噪声下，交叉熵给脏标签的概率先降后升。horizon loss 后半程把它压到约三分之一。精确梯度在无噪声时 top-1 更差，20% 噪声起更好，每个档仍不如 horizon loss。ImageNet 噪声实验没有精确梯度。
MNIST 上，常数视野和增长视野最多擦到一点边，κ 小的时候还更差，只有缩短的视野稳定更好。ResNet-50 上把 H 全程钉死，H≥10 打平交叉熵，H≤3 明显更差。
同一积分套在交叉熵上，降的是有限预算下的负对数似然，ImageNet 期望误差却从 0.378 升到 0.393。horizon loss 把测试 NLL 抬到 MNIST 0.122、ResNet-50 1.77。余弦退火下 NLL 从 1.289 降到 1.270。κ 固定为 1 时，跑过的 ImageNet 设置里期望准确率仍高于交叉熵，top-1 只有常数学习率的 ViT-S/16 没有超过。
二值奖励上，策略梯度一样乘着 p(1-p)。DAPO 和 Dr. GRPO 改的是题目之间如何分摊梯度，没用还剩多少步。探索、信用分配、采样噪声都去掉之后，这个权重在分类里照样失败。
实现上就是换一行损失。脏标签配常数学习率时最值钱，50% 翻转下 ResNet-50 多出 7.3 个 top-1 点。干净 ImageNet 加上余弦退火，只多约 0.6 个点。
先交叉熵、收尾切到精确梯度，MNIST 上大致打平，余弦退火的 ResNet-50 上还略好一点。收益主要来自收尾走向精确梯度。
κ 标在测试准确率上，没有验证集。κ=1 时期望准确率仍更高，常数学习率下 ViT-S/16 的 top-1 除外。
推导里样本梯度正交，且各自匀速移动。实际参数共享，优化器用 Adam 或 AdamW，分配效应和末尾步长没拆开。后段切到精确梯度就能拿走大部分增益，两个陷阱的指数界没有单独验证。
样本按独占预算计价。相同样本令一切可分规则失手。耦合规划可以更好，实验没有做。κ 也不是从动态推出的。
正确类概率在分类里可以一次算完。到了要采样的策略梯度，成功概率和继续学的价值都得估计。剩余预算如何纳入规划，还没有做法。