GCMP 以 1/55 参数量追平 LoRA r=32:27B 模型上适配器仅 11MB
textclf · reddit · 2026-11-17
作者发布 LoRA 替代方案 GCMP 的基准结果:在 Qwen3.8-27B 上,GCMP 只训练 2.9M 参数(约 11MB),而同投影矩阵上的 LoRA r=32 需要约 159M 参数(约 320MB),缩小 55 倍。
- 精度持平:所有适配器在 Alpaca 上以相同设置训练 500 步,用同一套 lm-evaluation-harness 评分并做 McNemar 配对检验。BF16 基座上各基准均无显著差异(p≥0.2);NF4 基座上 GCMP 在 GSM8K 反超 4 分(p=0.04),其余持平,答案损失还略低。
- 为什么体积重要:多租户服务(vLLM 中一批请求可混用适配器,无需合并/切换)、常驻显存(每适配器约 11MB + 固定开销,不随数量增长)、存储与加载(1000 个适配器约 11GB 而非 320GB)、边缘/小显卡场景。
- 目前的短板:训练步耗时约为 LoRA 的 2 倍;基线 r=32 偏宽松,r=4/8/16 对比待做;vLLM 服务目前需 CQ 基座;仅一个模型一个数据集一轮跑,检测粒度约 5 分。
- CQ 进展:CQ 基座保持与 BF16 持平(NF4 在 GSM8K 丢 12 分),但微调后 CQ 的 GSM8K 优势消失(83.0 vs 83.3,与 NF4+GCMP 打平),两个 4-bit 栈都比 BF16+GCMP 落后约 6 分。
「研究」频道最新
- NVIDIA 发布 Nemotron for Science:全开源科研智能体套件 — NVIDIAAI · 2026-11-17
- 观察:高水平研究者正停止投稿,学术会议接收率结构生变 — avt_im · 2026-11-17
- MIT CSAIL 权重空间手术:改 0.016% 权重让小模型 MATH-500 提升 6 倍 — RandalSchwartz · 2026-11-17
- 130 页论文提出「瓶颈压力」指标:AI 做不了的工作正随能力提升增值 — soumitrashukla9 · 2026-11-17
- Goodfire 联创谈可解释性:如何在训练中引导模型所学 — adityaag · 2026-11-17
- 教授晒论文压线砍到8页,AI生成超级赛亚人自贺 — CSProfKGD · 2026-11-17