Kimi 式智能体奖励模型加入 rubric 打分和冗长度预算
stochasticchasm · x · 2026-07-28
这条讨论的核心是一个用于不可验证通用任务的 Agentic Generative Reward Model（GRM）。
- 方法延续了 Kimi K2.5 那种锦标赛式 group reward + 二元比较。
- 为了提升判断质量，agentic judge 需要严格按流程执行：先读输出，再生成 rubric，然后按 rubric 给每个候选打分，最后把分数记录下来。
- 为了抑制“靠写得更啰嗦来骗分”的 reward hacking，方法加入了基于预算的冗长度控制：先用冷启动模型估计初始 verbosity 预算，再乘以系数缩放；如果输出长度超过预算，就会自动在二元比较中失利。
回复里还补充说，这种做法对 reasoning effort 的分配很有启发性，并指出他们做了大量 SFT，因此 reasoning effort 之间的偏移未必会大到构成 MOPD 问题；作者也很认可“用 post-SFT 模型估计初始 token budget，再用乘数缩放”的设计。
所属事件:Kimi K3 复现强化学习研究并引入推理预算控制(4 条相关)→
「编程与Agent」频道最新
- 开源 Google Analytics MCP Server:自然语言查网站数据 — modelcontextprotocol · 2026-10-16
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- a16z 播客:AI 让 10 人公司效率翻倍,工程师差距拉大 10 倍 — a16z · 2026-10-16
- Agent 跑任务卡死屏幕，用户每五分钟喊一次「等一下」 — every · 2026-10-16
- 用 3000 条真实发布片喂 Claude:作者做 MCP 告别千篇一律的 AI 生成视频 — Designer_Landscape25 · 2026-10-16
- 19 个 Claude 逆向工程 Blender，结尾神反转：源码本来就公开 — Dan_Jeffries1 · 2026-10-16