范畴论视角统一数百种 PEFT 方法,LoRA 秩上限等结论被证明
aryaman2020 · x · 2026-10-15
arXiv 新论文《A Categorical Atlas of Parameter-Efficient Fine-Tuning》用范畴论给数百种参数高效微调方法建立统一框架:把预训练权重看作权重空间中的基点,每种 PEFT 方法是从一个小的参数空间出发的光滑映射,冻结模型为初始对象、全量微调为终结对象。
作者用三个映射不变量刻画方法特性:局部像决定表达能力(一阶像、维度、秩的 min-cut 上界、光滑点还是锥顶点);纤维结合优化器度量决定训练动力学;基变换涵盖初始化、量化、重启与合并。
由此得到一批具体结论:零初始化 LoRA 与默认起点的 Householder 反射自适应从锥顶点出发;任何精确初始化都无法让 LoRA 达到高于自身两倍的更新秩;精确正交方法无论合并多少次都不会改变权重奇异值;在无 epsilon 的 Adam 等条件下,标准零初始化的 LoRA+ 与学习率按比例缩放的普通 LoRA 轨迹完全一致。
「研究」频道最新
- 字节 Seed 提出 Cortex:把上下文蒸馏为参数记忆,14B 模型保 88.9% 增益 — ByteDance-Seed · 2026-10-15
- 研究者纠错:模型行为差异源自数据与 RL,而非梯度下降 — PMinervini · 2026-10-15
- SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议 — cephaloform · 2026-10-15
- Quanta 长文追问:注意力机制是智能的本质吗? — mikeflache · 2026-10-15
- Fisher 信息新论文解释:为何 LLM 后训练参数更新如此稀疏 — cephaloform · 2026-10-15
- PersonalAgentEval 发布:7 款个人 Agent 实测仅两家领先 — HennyJieCC · 2026-10-15