VRSD 用提示词正则化自蒸馏，Pass@1 平均提升 3.9 个百分点
KingsCollegeLondon · hf · 2026-10-14
King's College London 与腾讯优图等提出 VRSD（自蒸馏 + 语言正则化），改进 on-policy self-distillation（OPSD）训练 LLM 的方式。
- 问题：OPSD 中教师模型享有特权信息（如已验证答案），会把监督信号带向「捷径推理」，验证和重审不足，输出分布熵骤降
- 方法：通过 system prompt 调节教师如何使用特权信息，鼓励重思与探索，对抗过早收敛；理论上将 prompting 建模为对特权信息影响的衰减，并推导出熵保持条件
- 结果：3 个模型 × 4 个任务中 12 组设定有 11 组 Pass@1 超过 OPSD，平均提升 3.9 个百分点，同时 token 熵普遍更高
「研究」频道最新
- FlashVSR+：单张 RTX 4090 跑 4K 视频超分，提速 2 倍省 45% 显存 — MMLab-CUHK · 2026-10-14
- Sber 发布 GreenWAM：一个世界模型通吃 20 类机器人并可直接当策略 — SberRoboticsCenter · 2026-10-14
- 腾讯发布 LifeSearch 基准：最强 agent GPT-5.6 Sol 也仅得 63.4% — Tencent-Hunyuan · 2026-10-14
- Science 发文：更年期或是女性痴呆风险更高的关键原因 — AnnaCiaunica · 2026-10-14
- AI 何时能在物理学上像数学领域那样批量出成果？ — burny_tech · 2026-10-14
- 光子训练 1B GPT-2:绕过反向传播的 DFA 光学预训练登上 PNAS — IgorCarron · 2026-10-14