ICML 2026 Spotlight：T²PO方法提升多轮智能体RL训练稳定性
HennyJieCC · x · 2026-07-07
ICML 2026 Spotlight论文提出T²PO（不确定性引导探索控制），专门应对多轮智能体强化学习（Agentic RL）中的训练不稳定问题。研究发现，多轮智能体RL失败的主因在于探索效率低下：长轨迹、稀疏奖励、冗余推理和低效采样极易导致训练崩溃。 T²PO通过不确定性感知机制动态控制探索行为，抑制无效推理并提升采样效率，从而实现稳定的多轮训练。该方法对当前以RL训练LLM智能体的主流范式具有直接参考价值。