RL-XAR 配方:用专家对齐评分表替代 LLM 裁判做强化学习
ivan_bezdomny · x · 2026-09-28
jaseweston 分享 RL-XAR(RL with eXpert Aligned Rubrics)配方:
- 收集高质量人类写作样本
- 训练 LLM 评分标准(rubrics),使其给专家文本打分高于模型生成
- 用学到的 rubrics 做 RL
迭代该流程,直到对 rubrics 的元优化再也找不出明显差距。优化后的 rubrics 会从偏好当前「口水化」模型转向偏好人类写作。
引用者 ivanbezdomny 补充自己也走类似路线:不用 LLM 直接当裁判(其缺陷他早有指出),而是用流程学习更好的中间指标,再让 LLM 针对这些指标优化。
所属事件:Meta 发布 RL-XAR:专家对齐评分表治 AI slop(4 条相关)→
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16