CP-MoE：冻结基座只调1.5%参数，微调不忘旧任务

flosalim · x · 2026-08-21

介绍 CP-MoE（一致性保持混合专家）：一个后训练框架，在完全冻结 7B 基座模型的前提下，只更新不到 1.5% 的参数完成 LLM/VLM 微调，并避免灾难性遗忘——传统高效微调（如 LoRA）在按序扩展任务时，因参数覆盖和僵化的路由负载均衡会持续抹掉历史任务知识。

核心策略是「先评估再更新」：引入一个临时专家——一个可丢弃的专家在新任务的短暂热身阶段先适应，其学习轨迹随后指导整个学习过程，之后被丢弃，不增加任何长期开销。CP-MoE 由此掌控各 LoRA 专家的路由与更新方式。