SGUID 论文：精选 6 条技能可匹敌 11 倍大的技能库蒸馏效果
rohanpaul_ai · x · 2026-10-10
NYU 与 Amazon 的 arXiv 论文《Which Skill to Distill? SGUID》研究技能蒸馏中的选择问题。
- 技能（skills）是推理时附加的可复用程序性指导（如一条分类计数规则），可显著提升 LLM 下游表现
- 作者发现：在 on-policy 蒸馏中，检索到的技能只有不到 25% 能提供有效蒸馏信号
- SGUID 方法：仅保留在训练中持续产生有效学习信号的技能，再蒸馏进模型
- 效果：在 Olmo 与 Qwen 两家族共 4 个模型上，蒸馏 6 条精选技能即可匹敌或超过全量技能库（最大 11 倍规模）的蒸馏效果；第二轮再选 3 条新技能后，4 个模型全部超越
- 还支持模型-技能共同演化：蒸馏后从新模型的 rollout 中筛选候选技能库，循环内化
所属事件:NYU与亚马逊研究：精选6条技能可抵11倍大技能库(2 条相关)→
「编程与Agent」频道最新
- 为个人 AI 智能体统一管授权,开发者两天开源自托管方案 — vaibhavbetter · 2026-10-10
- willcb 补充：超额续跑策略令 subagent 陷入启停循环 — willcb · 2026-10-10
- Claude Code 配额耗尽即清空中途进度，开发者怒批设计反人类 — teortaxesTex · 2026-10-10
- asc CLI 大版本优化:删 1 万行冗余测试代码,CI 与发布流水线分片提速 — rudrank · 2026-10-10
- asc CLI 分页优化:17 条命令每页取 200 条,全量拉取减少 10 倍请求 — rudrank · 2026-10-10
- App Store Connect CLI 5.13.0 发布：素材库视频一次上传多页复用 — rudrank · 2026-10-10