WISD:先弱化再自蒸馏,量化剪枝反使模型推理提升
songhan_mit · x · 2026-11-03
论文提出 WISD（Weakening-Induced On-Policy Self-Distillation）：不用更强的教师模型，而是先通过量化或剪枝故意削弱模型，再利用原模型与弱化版本之间的 log 概率差作为训练信号，在模型自身轨迹上做 on-policy 自蒸馏，提升推理能力。全程无需外部教师、参考答案或奖励信号，只用模型本身和无标注 prompt。
关键结果：
- 量化/剪枝两种弱化方式分别带来平均 +4.0 / +5.5 个百分点的准确率提升
- HMMT 2025：Qwen3.5-4B 从 57.7% 提升到 70.5%
- LiveCodeBench v6：39.1% 提升到 56.7%
代码已在 GitHub 开源（Apache-2.0），附带项目主页。
「研究」频道最新
- UMI 手持夹爪采集人类示范,零样本迁移到多平台机器人 — gabriberton · 2026-11-03
- 用 Codex+Astra 直接改权重：鸟类声音分类器准确率 84.3% 提至 88.75% — dansitu · 2026-11-03
- 手持夹爪+SLAM 采集数据:详解催生多家机器人创业公司的 UMI 方法 — gabriberton · 2026-11-03
- TSFLab：面向时序预测研究的自改进 Agent 工作台开源 — D2I-Group · 2026-11-03
- YC 团队发布 QA-Bench:AI 找 Bug 能力比 Codex 多 2.7 倍 — ycombinator · 2026-11-03
- EDU-Jev 教育决策模型 4B 达 67.6%,超最强商业 API 9.4 分 — kalyan_kpl · 2026-11-03