新论文:自蒸馏未必适合思考模型
amaarora · x · 2026-07-17
新论文重新审视了 thinking models 的 on-policy self-distillation(OPSD)。
作者指出,OPSD 原本被看作一种有希望的递归自我改进路径,因为思考型模型可以利用自身的“特权信息”进行推理、验证和纠错;但实验结果出乎意料:OPSD 反而可能让 thinking models 变差。
「研究」频道最新
- 斯坦福数据中心化 AI 研讨会开放报名,海报截止延期 — jure · 2026-10-26
- 「氛围验证」研究:近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图,自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布:训练资产翻四倍,切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测:34 个开源模型跑 50 项任务,综合排名不够用 — elmanmansimov · 2026-10-26