KAIST 在线反向蒸馏实现弱监督下的强泛化
kaist-ai · hf · 2026-09-09
KAIST AI 团队提出 On-Policy Reverse Distillation,一种弱到强泛化(weak-to-strong generalization)方法。
核心机制:
- 让强模型在弱监督者下超越弱模型
- 沿教师模型的偏移方向放大验证器支持的策略梯度
- 加速优化,且不限制学生模型容量
为超监督(superalignment)方向提供了新的训练技术。
所属事件:新论文提出 OPRD：在线反向蒸馏实现弱到强泛化(2 条相关)→
「研究」频道最新
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27
- UniAction 统一动作条件框架:单一世界模型驱动多种动作类型 — ZeYanjie · 2026-10-27
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27