浙大联合华为提出 ProAS：修复无 critic 强化学习的信用分配缺陷
LINs-lab · hf · 2026-10-27
浙江大学、西湖大学与华为诺亚方舟实验室提出 ProAS（Progress-Aware Advantage Shaping），一个面向多轮 agentic 强化学习的即插即用优势塑形框架。
- 问题：GRPO 等无 critic 算法存在「均匀信用分配困境」——把轨迹级优势均等地广播到所有动作，导致偏好轨迹中结构不合理的动作被强化，未被偏好轨迹中各动作的下游偏差被忽略。
- 方法：利用动态参考图标记不合理激励，并对惩罚进行非对称重分配，无需引入 critic 开销。
- 效果：论文报告多轮 agent 任务成功率与收敛速度均获提升。
定位为即插即用模块，可与现有无 critic RL 算法结合。
「编程与Agent」频道最新
- 博主让 Grok Bot 代理打一天电话:砍价省 $35/月、搞定健身卡退订 — Scobleizer · 2026-10-27
- Void v1.3 发布：JSX 路由、邮件别名等大批改进 — cnakazawa · 2026-10-27
- 开发者用 Spawn 加 Opus 做游戏世界构建,射击游戏地图可无限生成 — TAbrodi · 2026-10-27
- RL 环境设计长文：会操作软件不等于会达成目标 — ShenRaphael · 2026-10-27
- Rolldown 推出 Inline Common Chunks,减少小 chunk 文件 — irvinebroque · 2026-10-27
- NUS 提出多智能体编排框架 DynaFlow：精度超 AFflow 等基线 — NationalUniversityofSingapore · 2026-10-27