34M 参数修正模块修复冻结 Gemma 输出错误,能力零损失达 53.3%
eulogik · hf · 2026-09-29
研究问题:一个小修正模块能否修复冻结语言模型的输出错误而不损害其基础能力?
方法与发现:
- CRN v2 是约 34M 可训练参数(占 4.65B 文本模块的 0.73%)的 logit 级修正模块,叠加在完全冻结的 Gemma 4 E2B 之上;经 SFT + 无参考 DPO 在 83,400 条纠错对上训练;
- 在 60 题领域考试上纠正 53.3% 的基础模型错误,且在 MMLU/BoolQ 等能力基准上无退化;
- 对照组:同预算 LoRA(6.6M 参数)纠正率 83.3%,但能力损失 30–75%,凸显纠正-能力权衡;
- 消融显示 KL 保持项(λ=0.1)至关重要,降到 0.01 时纠正率跌至 35.0%;隐藏态注入、多层修正、更长训练等替代配置均未超过 logit 修正结果;
- 代码、权重与评测脚本已开源。
「研究」频道最新
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16