推理模型训练无需强教师，低概率token更新更关键
burkov · x · 2026-09-02
研究表明，利用强模型打分的训练方式反馈存在噪声，但学生模型仍能提升。核心机制在于训练主要改变了模型自身认为不太可能的 token。基于此提出的 On-Policy Self-Adaptation (OPSA) 方法仅更新低概率 token，并在模型不确定处加强更新，无需教师即可复现大部分收益。
所属事件:研究称同策略蒸馏增益源于抑制低概率 token，无需教师(4 条相关)→
「研究」频道最新
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18
- 训练策略复盘:只训最后几层避免移动目标,数据越多泛化越好 — Sauers_ · 2026-10-18
- 训练后模型能感知激活探针存在,并跨 GPU 零样本泛化 — Sauers_ · 2026-10-18
- 模型可学会分辨训练与部署状态,并泛化到没见过的运行时 — Sauers_ · 2026-10-18
- 单个注意力头像开关:靠抵消放大探针的微小激活差异 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18