Subliminal learning 并非LoRA伪影
universeinanegg · x · 2026-07-12
引用内容指出，**subliminal learning 并不只是 LoRA 的副作用**；在更合适的学习率和足够多的数据下，这种现象仍然会出现。 核心结论是：先前“低秩 LoRA 和全参数微调都不会出现”的说法不成立，问题关键更像是**训练规模与超参数条件**，而不是 LoRA 这种参数化方式本身。
universeinanegg · x · 2026-07-12
引用内容指出，**subliminal learning 并不只是 LoRA 的副作用**；在更合适的学习率和足够多的数据下，这种现象仍然会出现。 核心结论是：先前“低秩 LoRA 和全参数微调都不会出现”的说法不成立，问题关键更像是**训练规模与超参数条件**，而不是 LoRA 这种参数化方式本身。