On-Policy Self-Training论文：合成数据自训练遭遇多样性坍缩
idanbeck · x · 2026-10-27
论文 On-Policy Self-Training 提出 LLM 无数据自我改进方法，但存在关键陷阱：用自生成训练数据微调会导致多样性坍缩。在医学 QA 测试中，用原始前沿 API 合成数据微调的模型排名甚至低于未训练的基础模型，说明合成数据的质量与多样性控制至关重要。有作者制作了讲解视频。
所属事件:谷歌 OPST 论文：无需外部数据的 LLM 自我提升新法(3 条相关)→
「研究」频道最新
- Qwen3.8-Flash-Next 开源 180B 权重，被视为后门研究理想样本 — jd_pressman · 2026-10-27
- Latent-Foresight:让世界模型学着预判自己的未来 — abursuc · 2026-10-27
- 英国 AISI 发文：现有手段不足以防生物 AI 工具被滥用 — davidmanheim · 2026-10-27
- CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27