北大清华等提出MPO，改进长程LLM智能体训练的信用分配

IQuestLab · hf · 2026-10-28

IQuest Research 联合北大、清华、人大、港大等机构发布论文《Multiscale Policy Optimization for Long-Horizon LLM Agents》。核心观察：长程智能体以完整助手轮次与环境交互，critic 值的变化主要发生在轮次尺度上。据此提出 MPO，结合多尺度优势估计（MAE）与轮次级重要性采样，把信用分配和策略更新锚定在轮次尺度、并在 token 层面做更细的分配。在搜索、工具使用和自动化任务上以 4B 及更大模型做了大量实验验证。