南大等高校论文:不确定性引导压缩训练数据,只用0.22%预算保住推理能力
NJU · hf · 2026-10-13
新加坡国立大学、南京大学、复旦、悉尼大学等机构论文提出不确定性引导的渐进收缩框架,回答一个问题:推理后训练的监督数据能压缩到什么程度而不掉能力?
- 不把教师生成的 CoT 当作单一路径,而是在中间推理状态周围构建蒙特卡洛推理树,暴露过程级不确定性。
- 两阶段收缩:先用不确定性把语料压缩为紧凑的教师信息池,再在 SFT 中按学生的学习状态在线路由优化。
- 效果:仅需全量 SFT 0.22% 的优化预算、450 倍以上更少的训练曝光,推理成绩持平甚至更好;且在异构学生模型、黑盒教师、弱到强迁移场景下均泛化良好。
「研究」频道最新
- tszzl 预测:机械可解释性将迎来多年未见的进展潮 — tszzl · 2026-10-13
- 数学Discord社区推出免费机器学习工作坊，10月17日开课 — zeroalephzeta · 2026-10-13
- 无需哈希表零额外内存，ciphergoth 开源 O(k log k) 无放回采样算法 — burny_tech · 2026-10-13
- 新论文用欠阻尼二阶动力学解释 Mamba-3 状态旋转的振荡作用 — tri_dao · 2026-10-13
- Cirillo 新论文给出首违约篮子互换的精确定价与风险归因框架 — DrCirillo · 2026-10-13
- 一张分层图论推理算法,你能认出图中画的是什么吗 — Sauers_ · 2026-10-13