LoRA 只调局部参数即可替代全量微调,物理模型推断省八成内存
bravo_abad · x · 2026-09-21
物理模型的贝叶斯推断开销很大,因为采样器不断探索附近参数时求解器要反复适配。Ray Zirui Zhang 等人在 Nature Communications(2026)的论文中提出:冻结神经 PDE 求解器主干网络,只用 LoRA 对权重做低秩修正。
关键结果:LoRA 秩为 4 和 8 时恢复出的后验分布与全量微调基本一致;在测试的最大网络上,低秩更新把峰值显存压到全量微调的约 1/5,且单样本推断更快。作者指出的更广启示是:当连续科学问题在参数空间中彼此相近时,应对模型做局部适配,而不是全局重学。
「研究」频道最新
- 港城大发布免训练图像编辑框架 RefineEdit,背景保持全面领先 — CityU-HongKong · 2026-09-21
- tokenbender 分享一份「值得一读」的 AI 材料链接 — tokenbender · 2026-09-21
- QwenImage 2.1 引入 KV Cache,实测图像生成提速 2.55 倍 — RisingSayak · 2026-09-21
- 科学家用ML最常犯的错在选模型之前：11个必备观念 — bravo_abad · 2026-09-21
- 478 份提交角逐 5 万美元奖金，Aletheia AI 撒谎检测大赛揭晓获奖者 — gsarti_ · 2026-09-21
- IBM 发起 Steerability 大赛:征方案抑制大模型说谎,奖金取胜者登上 NeurIPS — davidbau · 2026-09-21