NYU 与亚马逊论文：蒸馏 6 条精选技能可抵 11 倍大的技能库
rohanpaul_ai · x · 2026-10-10
一项来自 NYU 与亚马逊的新研究提出 SGUID 方法：在蒸馏技能库之前，先记录哪些技能能持续产生有效训练信号，把没用的丢掉。研究发现，只蒸馏少数保持有效信号的技能，效果可以匹敌甚至超过蒸馏多达 11 倍大的技能库。
这里的「技能」是写给模型看的简短文字提示(如某条计数规则)，模型通过学习一个阅读这些技能的自身副本来吸收它们。按主题匹配挑选时，三个 Qwen 模型上只有不到 25% 的技能产生了有效信号。
SGUID 只保留训练早期和后期都有帮助的技能：仅用 6 条这样的技能，4 个模型中有 3 个在数学竞赛测试上追平或超过了包含 30-71 条技能的完整技能库；第二轮加入 3 条新技能后，Qwen3-8B 从 64.3% 提升到 66.3%。
所属事件:NYU与亚马逊研究：精选6条技能可抵11倍大技能库(2 条相关)→
「研究」频道最新
- MosaicML Streaming 作者背书，Datology 发布确定性数据加载器 Zephon — josh_wills · 2026-10-10
- Claude Code 写 CUDA 算子实测：融合 GELU 快 2.5 倍，还自创 fp32 拆分技巧 — lmoroney · 2026-10-10
- ResLRB：常量内存可微光追踪的随机图压缩方法 — ssh4net · 2026-10-10
- 清华 TokenRouter 论文:token 级大小模型路由,吞吐最高提升 64 倍 — rohanpaul_ai · 2026-10-10
- SpliceAI2 深度解析：基因转录预测在留出基因上命中 82% — anshulkundaje · 2026-10-10
- OpenAI 开源 722 篇数学手稿，覆盖 372 项开放问题结果 — FinanceYF5 · 2026-10-10