Ultramarine 发布博客公开 RL 奖励公式:惩罚多余 token 与无效工具调用
andrew_n_carr · x · 2026-10-15
Paper Instruction 的 Ultramarine 模型发布博客中总结了一套 agent 训练的奖励塑形设计,针对两大痛点:模型生成过多 token、以及无效或损坏的工具调用。
配图展示了具体公式:
- 每次无效工具调用按 λ 计罚,总罚金封顶于 ctool,避免模型干脆放弃探索;
- 回合因子 f(n) 让正奖励从第 n₀ 回合起线性衰减,到回合上限 nmax 归零,抑制模型靠拖时间刷分;
- 当组内平均奖励为正时启用输出长度惩罚 P(T),含超预算部分的比例罚与尾部 clip 罚。
核心设计思路是:鼓励模型探索,但不让它靠破坏规则获利。
「编程与Agent」频道最新
- Grady Booch：移除瓶颈只会带来更多代码，而非更多价值 — Grady_Booch · 2026-10-15
- Cloudflare 决策模型 Clef 上架 Merge,中位延迟仅 39ms — shensi · 2026-10-15
- AI 生成完整 CNC 加工方案,25 年老师傅称仿真与手工 CAM 一致 — IgorCarron · 2026-10-15
- Claude Code 桌面应用大更新：多会话并行更流畅 — lydiahallie · 2026-10-15
- 三个 bug 调试复盘:AI 时代工程师最值钱的是验证假设的能力 — rseroter · 2026-10-15
- Epic 晒 vibe code 加速器，反被 Community Notes 提醒安全风险 — mark_k · 2026-10-15