OPST 论文：无需人工数据，模型仅凭自生成问答实现自我提升
_akhaliq · x · 2026-10-26
论文提出 On-Policy Self-Training（OPST），把 on-policy 自蒸馏重构为自训练框架：仅靠粗粒度主题描述，模型自行生成问题与「特权推理轨迹」作为课程，全程无需人工策划的提示或答案。
关键机制：
- 伪验证过滤器：只有模型能在全新上下文和改写条件下复现答案的题目才被保留
- 实验覆盖域内自我提升、混合生成域时的域外知识保持，以及扩展到视觉任务的 Visual OPST
- 在语言和多模态推理基准上均实现提升，优于其他训练策略
作者称这表明基础模型具备丰富的潜在能力，可在无外部任务监督下被放大。
所属事件:谷歌论文提出 OPST，LLM 无需外部数据自我提升(2 条相关)→
「研究」频道最新
- 为何 fused DeepLIFT 更快：让 PyTorch 自动融合归因计算图 — jmschreiber91 · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26
- UCLA 论文:扩散精力与接受宽容度双旋钮,拓宽投机解码速度-质量帕累托前沿 — UCLA · 2026-10-26
- 研究:Git 记录难以审计 AI 参与度,科研仓库需可审计溯源系统 — Koutian Wu · 2026-10-26
- fused DeepLIFT 实现解析：hook 机制与计算图融合的性能权衡 — jmschreiber91 · 2026-10-26
- 什么是融合版 DeepLIFT:绕开 hook 的梯度改写如何快 7 倍 — jmschreiber91 · 2026-10-26