TUM 等提出 Bridged Self-Distillation：跨家族、黑箱教师也能做 On-Policy 蒸馏
TUM · hf · 2026-10-23
慕尼黑工业大学与 LMU 团队提出 Bridged Self-Distillation（BSD），统一框架解决 on-policy 蒸馏中强教师与小学生的两大错配：教师的解法小学生难以模仿、教师的 token 级概率与学生不兼容甚至不可得（闭源 API）。
方法：利用特权推理轨迹对学生 rollout 打分，并通过结果验证引导更新，从而从任意教师进行 on-policy 推理能力迁移。框架覆盖三种场景：
- 同家族共享 tokenizer：标准 OPD（token 级分布匹配）
- 跨家族不同 tokenizer：经词表映射的 cross-tokenizer OPD
- 闭源 API 仅文本：基于响应反馈的 black-box OPD
「研究」频道最新
- DeepMind 团队冲击第六个 Busy Beaver 数，探索 AI 发现隐蔽数学问题 — RaiaHadsell · 2026-10-23
- 把可验证代码从 1% 缩到全集：形式验证的现实困境 — jd_pressman · 2026-10-23
- 新论文：AI 审稿在最佳状态下胜过人类同行评审 — RexDouglass · 2026-10-23
- 用 Claude 证明内存安全等价,一次性挖出大量 PHP 深层 bug — jd_pressman · 2026-10-23
- UC 新研究：把工具输出存文件再检索，反而让 GPT Agent 准确率下降 — ucriverside · 2026-10-23
- MalwareBench 发布：恶意软件逆向首个端到端基准，GPT-6.1 仅得 4.42% — brianryhuang · 2026-10-23