Debias-SparseGPT:在剪枝稀疏化中嵌入去偏,降低大模型人口偏差
Irina Proskurina · hf · 2026-09-03
HF 上发布的 Debias-SparseGPT 方法,针对大语言模型压缩过程中剪枝引入的人口统计偏差(demographic bias)问题,在后训练稀疏化阶段加入表征去偏(representational debiasing)。核心思路是在剪枝决策时同时考虑偏差抑制,使压缩后的模型在保持稀疏收益的同时减少公平性退化。
「研究」频道最新
- 三篇论文拆解类人递归自我改进：ASPIRE、S³Gym 与 HarnessDev — teortaxesTex · 2026-09-03
- 穹彻智能发布Noe-0：全程不用遥操作数据训练具身模型 — jiqizhixin · 2026-09-03
- 研究挑战共识:用户回复里的「这不对/有用」反馈可训练利用 — LChoshen · 2026-09-03
- 研究测 13 款主流 LLM:10%-35% 陈述因说话者性别被改判真假 — anthara_ai · 2026-09-03
- 新论文 R³:用 RL 教机器人自由推理,先想后动提升策略控制 — aviral_kumar2 · 2026-09-03
- 牛津牵头的英国开源 AI 研究计划 BOLD 启动，350 名研究者与会 — j_foerst · 2026-09-03