新论文对比 11 种奖励设计，教 agent 在推理预算内自适应分配
adam_golinski · x · 2026-10-22
arXiv 论文《Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints》（Lamb、Golinski、Kirchhof 等）研究多轮 agent 如何在推理预算（token 数、API 调用数、环境步数、轮次）内学会自主分配资源。
- 问题：外部框架可以强制执行预算，但 agent 自身能否学会何时花、花多少尚不清楚；且各家实验室（DeepSeek、Kimi 等）的长度惩罚设计各不相同。
- 做法：将现有长度惩罚适配到多资源类型的预算约束上，在统一训练管线中对比 11 种奖励目标；在 AppWorld 上以 token/API 调用/环境步数为预算训练 Qwen3.5 4B 和 9B，在 BabyAI 网格世界上以轮次为预算训练。
- 结论：对超支施加惩罚的奖励显著提升预算内成功率与自然合规性，agent 学会根据声明的预算和任务难度调整资源使用；收益可泛化到未见过的预算，并可零样本迁移到分布偏移的任务和新 benchmark。不同奖励目标在预算内成功与自然合规之间存在权衡。
「编程与Agent」频道最新
- Longman 朗文词典 MCP Server 上线，让 Agent 查权威释义 — modelcontextprotocol · 2026-10-22
- 法学教授实测律所 Copilot：不好创意反而是律所需要的特点 — jkubicki · 2026-10-22
- 用文件夹和 CLAUDE.md 给 Claude 搭三层记忆，附 30 分钟免费搭建方案 — evielync · 2026-10-22
- 回应“别再用依赖”论：开发者晒自研 HTTP/流式/内核等全套基础设施 — wavefnx · 2026-10-22
- 开发者吐槽 Codex 应用无视手动设置，随机切换所用模型 — zeeg · 2026-10-22
- Anthropic 推出 prompt-audit 命令:审计 CLAUDE.md,成本降 9% 准确率升 2 点 — Arindam_1729 · 2026-10-22