Meta 研究 RL-XAR:用专家对齐评分表做 RL,宣称解决 AI slop 写作问题
jaseweston · x · 2026-09-28
Meta AI 研究员 Jason Weston 团队发布新方法 RL-XAR(RL with eXpert-Aligned Rubrics),目标解决 LLM 输出缺乏高质量写作的「AI slop」问题。
- 核心思路:预训练只会复述上下文质量,RLHF 的奖励又受制于非专家标注员的天花板,因此先收集顶级人类写作样本,学习能区分专家文本与模型生成的评分表(rubrics),再用这些 rubrics 做强化学习,并迭代优化 rubrics 直到专家与模型的差距无法辨别。
- 任务覆盖:撰写科学论文章节、普利策奖小说续写、高质量维基百科页面,多项指标显示较标准训练大幅提升。
- 详细结果见后续推文(跨家族 Qwen3.8-2.4T-A95B 评分、GPT5-6 复核、人类评测胜率等)。
所属事件:Meta 发布 RL-XAR:专家对齐评分表治 AI slop(4 条相关)→
「研究」频道最新
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16