上海 AI Lab 提出 SCALE:用熵引导门控实现对 SFT 特征的抑制与反转
Shanghai-AI-Laboratory · hf · 2026-10-05
上海人工智能实验室发布论文《Rethinking Token Reweighting for SFT》,提出 SCALE 方法。
- 发现:SFT 从模型认为最不可能的 token 学习最激进,虽利于习得新行为,但会放大噪声监督、覆盖预训练知识。
- 统一 policy-loss 视角下,现有 token 重加权方法对示范 token 只能赋非负系数,可抑制或放大监督更新,却无法「反转」已学到的有害特征;加大权重也不等于特征外推。
- SCALE(Selective Control of Adaptation via Local Entropy):冻结预训练模型与 SFT delta,仅通过最小化预测熵学习有界的 token/模块级门控,按与熵下降的对齐程度抑制、反转或外推 SFT 特征。
- 结果:在 Qwen2.5-Math-1.5B/7B 与 Qwen3-4B-Base 上数学推理均值分别达 37.84、43.60、36.57,超过最强基线,同时在通用保留基准与 HumanEval/MBPP 代码生成上保持竞争力。
「研究」频道最新
- Pedro Lopes 谈 CHI 审稿：小样本 AC 堆里强推桌拒可能误伤 — plopesresearch · 2026-10-05
- UCVG.cpp:一对对比 prompt 即可为任意 LLM 生成控制向量的 C++ 工具 — Egor4more · 2026-10-05
- GPU 集群上能存在多少个数字心智?Synthese 论文提出新难题 — burny_tech · 2026-10-05
- 新论文提出「自适应重构」：智能的关键是重新定义问题本身 — ValerioCapraro · 2026-10-05
- 2D 嵌入图不是定量证据:t-SNE/UMMAP 只能提假设 — bravo_abad · 2026-10-05
- 别把 Hessian 当二阶导矩阵：特征值是损失面的局部曲率 — techNmak · 2026-10-05