Reward-Rate Policy Gradient:按单位时间收益优化 MLE 智能体
sherryyangML · x · 2026-10-23
研究者 sherryyangML 发布 Reward-Rate Policy Gradient（RPG）并补充配套工作 MLE-World，两个方向都瞄准「让有限研究预算发挥更大价值」：
- RPG：针对 auto-research 与 ML 工程 agent，动作执行时间从几秒到几小时不等，传统固定步长 MDP 无法刻画这一差异。该方法在 semi-MDP 框架下优化 agent 的「单位时间奖励」，让 RL 把执行时间纳入考量。
- MLE-World：每次实验即使失败也会留下有用经验。它把执行轨迹（代码 + 任务上下文 → 报错、训练日志、分数）转化为预测模型，agent 可先据此修改想法，仅在预测不确定时才跑真实实验，从而降低实验反馈成本。
作者强调两者互补：RPG 学习单位时间奖励最大化，MLE-World 复用历史经验让实验反馈更便宜。
所属事件:MLE-World 世界模型预判实验结果 省一半算力排名百分位升 19%(4 条相关)→
「编程与Agent」频道最新
- Google Cloud 发布 Agent Compute Engine:专为 AI Agent 打造的新 VM 类型 — testingcatalog · 2026-10-23
- 「前端只是耗材」：个人 AI 代理时代，服务都该 Headless 化 — genmon · 2026-10-23
- 获 3 万星的设计 Skill Hallmark v2 发布:给 AI Agent 一点品味 — nutlope · 2026-10-23
- Harness Scaling 论文:训练时换 harness,是 agentic RL 的新扩展维度 — omarsar0 · 2026-10-23
- Chrome DevTools 新增广告脚本追踪，Ads 面板可查 CPU 与流量占用 — gaganghotra_ · 2026-10-23
- 多模态智能体记忆综述发布:从静态检索到自进化,覆盖 297 个系统 — yizhu59 · 2026-10-23