rank-16 LoRA 强迫输出不变仍练出锯齿:逐层梯度信号是关键设计
Sauers_ · x · 2026-10-20
@Sauers 说明 zigzag 训练方法:跨多种提示/问题训练 rank-16 LoRA,但强制答案与原模型一致(不改变 token 生成),同时最小化与原模型的 KL 散度。训练按层进行,每个层-token 对有独立梯度信号:偶数层最大化探针读数、奇数层最小化(或反之)。作者还提出后续改进想法:每个 token 只给单一信号,或改为对整个激活范数做锯齿——若猫向量在激活空间中较小,这样更容易学且不破坏常规处理。
所属事件:研究者训练 Qwen3 内部表征走出锯齿路径(9 条相关)→
「研究」频道最新
- 可解释性学者讨论:早期单语义特征能否在 RLHF 后留存 — davidmanheim · 2026-10-20
- MemTensor 发布 MemT-1.0:把记忆内化进模型计算的记忆原生架构 — MemTensor · 2026-10-20
- 清华等发布 RoboValue:仿真与真实环境统一的机器人价值模型评测基准 — Shengbang Liu · 2026-10-20
- 论文证明 Transformer 会按幂律遗忘 prompt:训练后模型忘得更快 — Shuyang Xiang · 2026-10-20
- MARS:仅用文本拒绝方向实现多模态安全转向,免采多模态安全数据 — MHUGLab · 2026-10-20
- 联想论文揭示:安全护栏基准测的是标注政策,不是检测能力 — Vahid Jebraeeli · 2026-10-20