TTPO：测试时策略优化让 LLM 无标签自我提升，Qwen3-1.7B 涨 7 分
JFPuget · x · 2026-08-29
TTPO（Test-Time Policy Optimization） 提出让 LLM 在推理阶段无需任何真值标签也能持续自我改进。
- 核心观察：多数投票伪标签很脆弱，一旦投错会污染教师信号；但该失败模式是不对称的——与伪标签不一致的 rollout 通常是错的，无论投票本身对错。
- 方法：一致 rollout 用 OPSD 蒸馏强化，不一致 rollout 用 Grouped RL 惩罚；token 级选择进一步优化——蒸馏时降低已收敛位置的权重，RL 只惩罚高置信度错误。
- 效果：五个竞赛级基准上，TTPO 无标签即可匹配有标签 OPSD；Qwen3-1.7B 测试时训练从 38.0% 提升到 45.2%，无思考模式下 +25.2% 至 +36.4%，跨任务泛化强。
所属事件:阿里浙大推出 TTPO，让 LLM 推理阶段无标签自我提升(3 条相关)→
「研究」频道最新
- RLVR 微调致解空间坍缩，加入 replay 缓冲可保多样性并提升 pass@8 — manoelribeiro · 2026-10-15
- ModeBench 揭示 RLVR 让 LLM 只会一种解法，Re:Max 训练法可保解法多样性 — manoelribeiro · 2026-10-15
- NYU 团队推出 SCOOP：用策略协调循环让 LLM 学会真正探索 — jaseweston · 2026-10-15
- Google WeatherNext 助 NHC 预报飓风 Isaias，提前 3 天锁定路径误差 60 公里内 — PeterWBattaglia · 2026-10-15
- MIT 用简单局部突触规则让神经网络自建学习机制 — ChuckDBrooks · 2026-10-15
- 中科大提出 VASPO:自蒸馏结合特权价值估计改进 PPO 推理 — ustc-community · 2026-10-15