研究称潜隐学习关键在于数据效率
近期关于“潜隐学习”发生条件的讨论引发了关注。此前有观点认为它不会在低秩LoRA或FFT训练中出现,但最新研究指出这一说法并不准确。作者强调,潜隐学习能否发生的关键更像是数据效率问题。只要设定合适的学习率并提供充足的数据,即使在LoRA等训练模式下,也能有效触发潜隐学习机制。
2026-07-09 ~ 2026-07-09 · 2 条相关
- 潜隐学习的训练条件 — AdtRaghunathan · 2026-07-09
- Subliminal Learning更像数据效率问题 — AdtRaghunathan · 2026-07-09