免训练知识蒸馏 UTT:把强模型能力写进文本,数学成绩 27.6%→51.7%

Zhanyi Lu · hf · 2026-10-12

西湖大学团队提出 Universal Textual Teaching (UTT),一种参数更新-free 的知识蒸馏框架:不训练学生模型参数,而是把师生间的知识差距蒸馏成一份可解释、可复用的自然语言文档 Primer。

方法流程

• 通过成对评估找出有代表性的差距案例
• 多角色迭代更新 Primer:Student 尝试任务、Prompter 把评估反馈转成教学指令、Teacher 给出针对性示范、Synthesizer 汇总经验

效果

• KernelBench 上学生准确率从 9.4% 提升到 48.6%,Fast1 从 9% 提升到 35%
• 数学推理(Omni-MATH-2)准确率从 27.6% 提升到 51.7%
• 优于代表性 prompt 工程和参数级 KD 方法
• Primer 可跨模型迁移:为一个师生对合成的 Primer,能泛化到未参与合成的其他学生模型

对只能通过 API 调用的闭源模型或不便微调的场景尤其有用。

原文链接 →

「研究」频道最新

• Nature 深度报道:人脑终生新生神经元百年之争仍无定论 — AnnaCiaunica · 2026-10-12
• 论文数据一半是重复行:1168 行样本被指首尾几乎完全相同 — RexDouglass · 2026-10-12
• 独立研究者举报数据异常,复制机构公开承认“我们失败了” — RexDouglass · 2026-10-12
• 巴西数据“像随机生成”:举报者列出可疑相关性与离谱效应量 — RexDouglass · 2026-10-12
• 矩阵即图：线性代数里最被低估的事实 — TivadarDanka · 2026-10-12
• MetaKernelBench:跨DSL技能迁移提升GPU核优化最高29% — encodelab · 2026-10-12

更多「研究」频道 AI 资讯 →