Meta 推出 RL-XAR 训练法:用专家对齐 rubric 让模型甩掉 AI slop
jaseweston · x · 2026-09-28
Meta AI 研究员 Jason Weston 发推介绍新方法 RL-XAR(Reinforcement Learning from eXpert-Aligned Rubrics),直指 LLM 在"不可验证任务"(如高质量写作)上的短板——即所谓 AI slop。
方法脉络:
- 预训练只是复现语料质量水平,ML 目标不会把生成推向超越上下文的专家水准;RLHF 又受制于非专家标注者的品味天花板
- RL-XAR 分三步:收集最高质量的人类范文 → 学出能区分范文与模型生成的 LLM rubric 评分器 → 用学到的 rubric 做 RL,迭代至 meta-optimizer 无法再发现人机差距
实验:在科学论文章节、普利策小说续写、高质量维基百科页面三类任务上,用 Qwen3.5-27B 训练、跨家族 Qwen3.8-2.4T-A95B 做 judge,最终用 GPT5-6 复评,三项任务均有显著提升。
消融发现:judge 太弱找不到人机差异则训练无效;meta-optimizer 也必须足够强;模型已优于弱人类写作时无改进空间可学;writer 与 rubric 生成器也可在线同时用 RL 训练。
团队希望让 AI 成为更好的人类沟通者,惠及所有人。
所属事件:Meta 发布 RL-XAR:专家对齐评分表治 AI slop(4 条相关)→
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16