Beyond Timestamps: Decision-Aligned On-Policy Distillation for Long-Horizon Agents
Mingju Chen, Can Lv, Jinrong Liu, Huan Zhang, Heng Chang, Shiji Zhou
cs.LG, cs.AI
2026-09-27
北航与清华提出 AlignOPSD，先把特权教师打分对齐到学生功能决策，再按可变决策段分配终局优势；3B 与 7B 八组汇总超 GRPO 5.5-8.7%，六组第一。
长程语言 agent 靠一串互相依赖的中间决策把任务做完，训练信号却经常只在终点给一个对错。GRPO 把兄弟轨迹的终局奖励做成相对优势，再广播到整条回复的 token 上。整段成败能看见；中间哪一步有用或出错，看不见。
OPSD 用同一策略的特权视角给学生自己采样的行为打密监督，部署时特权拿掉。局部打分仍钉在当前时间戳上。
北航与清华指出 Decision-Timestamp Mismatch（决策-时间戳错位）：跨轨迹时同一时刻经常不是同一功能决策。WebShop 上，学生-学生配对里 58.90% 的同回合动作类型已经不同；按商品 ID 等实体硬对齐后，79.72% 的对应动作不在同一回合，中位错位 4 步。轨迹内部，一次「比价」往往跨多个回合。逐步赋分会拆碎一次决策，固定窗口会揉进两件不同的事。
同前缀概率对比仍然合法。拿这个局部差距直接当「当前功能决策」的质量，不合法。
AlignOPSD 的原则是先对齐监督，再赋分。教师不是更大的模型。它是同一 πθ 看到了训练专用的特权信息 kx。
监督校正用 thinking trace（思考片段）当决策状态的语义替身，冻住 Qwen3-Embedding-0.6B 编码，在同一任务的兄弟 rollout 之间算余弦。低于阈值 γH 的候选丢掉，每个兄弟轨迹最多留一个源，每步最多 top-K，再加动作一致性：动作嵌入余弦至少 0.8；WebShop 还要求操作类型和点击目标一致。
校正不模仿教师回复。学生采到的同一段 au 被接到对齐后的教师历史上做 teacher-forcing，沿已有 token 重算对数概率。本地特权视角给出 identity gap；对齐视角按匹配置信度 αu 混进去。没检索到就退回本地 gap。改的是打分上下文，被优化的行为不动。
分层赋分看相邻回合对应分布的 Jensen-Shannon 散度，偏移大就切开，得到 2 到 8 回合不等长的决策段。终局优势 Aseq 当预算；校正后的师生差距若与终局方向一致，这段就多分。先在段之间切预算，再在段内按回合切，最后广播到 token。KL 正则防止分配远离均匀 token 质量，token 加权均值保持为 1。没有额外蒸馏损失，对应、分段、赋分全部 stop-gradient。
可以把它想成：先找到别的轨迹里同一件决策来打分，再按这件事持续了几步把终局对错摊进去。
骨干是 Qwen2.5-3B-Instruct 与 Qwen2.5-7B-Instruct，任务是 ALFWorld（成功率）、Search-QA（精确匹配）、WebShop（Score 与 Acc）。对照覆盖 prompting、GRPO 系和 OPSD 加 RL 系（含 StepOPSD、SDAR、RLSD）。单节点最多 8 张 A800，150 次更新，每任务 8 条兄弟轨迹。
| 骨干 | 指标 | AlignOPSD | GRPO | StepOPSD |
| 3B | ALFWorld Avg | 80.5 | 75.0 | 73.4 |
| 3B | Search-QA Avg | 45.1 | 36.4 | 43.7 |
| 3B | WebShop Score / Acc | 86.8 / 68.8 | 79.8 / 63.3 | 82.4 / 66.4 |
| 7B | ALFWorld Avg | 89.1 | 81.2 | 88.4 |
| 7B | Search-QA Avg | 49.1 | 42.0 | 48.2 |
| 7B | WebShop Score / Acc | 87.9 / 78.9 | 80.9 / 72.6 | 87.2 / 78.1 |
八组汇总全面超过 GRPO（+5.5-8.7%）和 StepOPSD，六组第一。没拿到第一的两处：3B ALFWorld 上 GRPO+OPSD 是 81.2，AlignOPSD 是 80.5；7B WebShop Acc 上验证时仍给 skill 的 Skill-GRPO 是 81.2，AlignOPSD 是 78.9。子任务更散，7B ALFWorld 的 Pick 只有 70.8，低于 GRPO 的 91.2。
WebShop 7B 消融：去掉校正、只留自适应分配，Score/Acc 落到 84.2/71.9；保留校正但改成 token、回合或随机分段，分别是 81.6/71.1、86.3/77.3、78.9/69.5。回合已经比 token 好用，自适应边界再挤出 1.6 个点。随机分段最差，切错窗口比切得粗更伤。
前 100 次更新里，跨回合匹配权重在 ALFWorld、WebShop、Search-QA 分别是 96.70%、83.63%、22.71%。Search-QA 最多 4 回合，能错位的空间本来就小。学到的段长均值是 4.41、3.92、2.24 回合。信用温度 T=0.5 三处都是峰；K 与 γH 则任务、尺度相关。WebShop 3B 上 K∈{2,3,4} 终点差 11.7 个点，γH 从 0.60 提到 0.80 能从 51.6% 拉到 69.5%。
密监督可以很细。打分上下文和决策边界对不齐，细粒度会变成错的细粒度。AlignOPSD 不换骨干、部署不加特权，只改训练时终局优势怎么切。代码已开源。
适用面很窄也很清楚：多回合、中间决策能在兄弟轨迹里对上、终点可自动打分。购物、家务、带搜索问答都符合。轨迹本来就短、决策几乎逐步切换时，长段赋分的空间不大，Search-QA 上的增益更可能来自校正。
对已经在跑 GRPO 或 OPSD 的人，这是渐进改进。额外开销是每 batch 对齐、重打分、分段。论文把这些算进训练开销，但没给 wall-clock 或额外前向次数。超参不能一套吃所有任务。
正文没有独立的 Limitations 节。
消融只在 WebShop 7B 做全，ALFWorld 与 Search-QA 没有同等拆解。敏感度曲线的阴影是局部时间波动的两倍，不是多种子标准差。功能段标注用 GPT-5.6 做聚合统计，没有逐轨迹边界 F1，论文写明不声称学到的段精确恢复语义目标。
thinking 相似度只是代理。WebShop 训练前 100 次更新里，同状态学生-教师余弦均值 0.7604，任意跨轨迹对 0.7214，训练保留对 0.8805；后一个数字有一部分是筛选标准自己抬上去的。匹配覆盖 45.20% 的目标步，其余退回本地 gap。特权信息来自与 skill 基线同一套 SkillBank。论文论证光有特权不够，但没有单独扫检索质量。
子任务波动大，汇总第一不能读成处处第一。对齐模块的额外算力没有报。教师是同策略特权视角，更强的独立教师会不会改变错位形态，没有验证。