EliteReplay 用质量多样性搜索保住 RL 后训练中被磨掉的解题多样性
TuhinChakr · x · 2026-10-20
俄亥俄州立大学团队发布论文 EliteReplay（arXiv 2610.22290），针对 RL 后训练的"行为锐化"问题：GRPO 等方法提升 pass@1 的同时会让模型收窄解法范围，丢失基础模型原本多样的正确解题策略。
- 方法：训练前用冻结的基础模型通过 quality-diversity 搜索构建一个"精英"存档，覆盖不同解题思路；训练时在 GRPO 之上叠加针对该存档的 replay loss。
- 效果：在多个 text-to-SQL 任务上，EliteReplay 的 pass@128 超过所有基线， distinct 正确策略最多多出 77%；保留大部分基础模型的正确策略。
- 实用价值：在歧义问题基准 AmbiQT 上，EliteReplay 覆盖两种解读的频率接近最强基线的两倍。
论文指出 pass@k 只看"有没有一个正确样本"，并不能衡量真正的策略多样性，这是该工作与此前方法的关键区别。
所属事件:俄亥俄州立团队推出 EliteReplay，保住 RL 后训练的策略多样性(2 条相关)→
「研究」频道最新
- Google 研究 Harness²：agent 执行框架递归自我改进，最高提升 11.8 个百分点 — burny_tech · 2026-10-20
- Google 开源 Harness²：agent 发现 harness 不胜任时自动改进自身框架 — burny_tech · 2026-10-20
- Marcus Hutter《通用人工智能导论》教材：AIXI 理论的入门指南 — burny_tech · 2026-10-20
- 端到端稀疏字典学习:让 SAE 只学对网络真正重要的特征 — burny_tech · 2026-10-20
- 谄媚基准测试:GPT-4o 无理反驳下94.6%改口，Opus 5.5 仅32.2% — i_dg23 · 2026-10-20
- 纽约科学家造出超导神经芯片，每秒可处理百万核聚变等离子体样本 — Dr_Singularity · 2026-10-20