COLM 论文定稿:隐性学习不限于 LoRA,标准微调与 SGD 同样存在

johnhewtt · x · 2026-08-26

「潜意识/隐性学习(subliminal learning)」研究的 camera-ready 版本发布。新结论包括:隐性学习在标准全量微调中同样出现(并不限于 LoRA),且在使用 vanilla SGD 优化器时也会发生(并不限于 Adam)。作者还建议未来研究默认通过 steering 而非 prompting 来施加偏置。此外,相关工作部分讨论了先前关于隐性学习是否只局限于特定 rank 的 LoRA 或特定优化器的发现,这些问题的探索源于 COLM 审稿人的要求。

所属事件:研究显示潜在学习广泛存在于标准微调甚至 SGD(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →