RL-XAR 配方:用专家对齐评分表替代 LLM 裁判做强化学习

ivan_bezdomny · x · 2026-09-28

jaseweston 分享 RL-XAR(RL with eXpert Aligned Rubrics)配方:

迭代该流程,直到对 rubrics 的元优化再也找不出明显差距。优化后的 rubrics 会从偏好当前「口水化」模型转向偏好人类写作。

引用者 ivanbezdomny 补充自己也走类似路线:不用 LLM 直接当裁判(其缺陷他早有指出),而是用流程学习更好的中间指标,再让 LLM 针对这些指标优化。

所属事件:Meta 发布 RL-XAR:专家对齐评分表治 AI slop(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →