LoRA 替代方案 GCMP 实测:单张 A40 无损服务 256 个适配器不掉速

textclf · reddit · 2026-11-21

作者更新了其 LoRA 替代方案 GCMP 的完整实测:在 Qwen3.8-27B 上仅训练 2.9M 参数(约 11 MB)。

质量:与 LoRA r=8、r=32 和 VeRA 在 9 项 benchmark 上全部打平(McNemar 配对检验,所有 p ≥ 0.15)。由于 r=8 与 r=32 效果相当,公平对比下 GCMP 比 LoRA r=8 小约 14 倍(而非此前声称的 55 倍)。VeRA 尺寸和效果几乎相同且训练快 2 倍,但 vLLM 无法服务 VeRA。

多适配器服务(单张 A40 48GB,vLLM 0.27.1,CQ 4-bit 基座,32 并发、每请求随机适配器):

CQ 4-bit 基座:9 项 benchmark 上与 BF16 持平,而 NF4 在 GSM8K 掉 12 分。主要短板是训练速度,GCMP 每步耗时约为 LoRA 的 2 倍,作者下一步在优化 CQ 解码内核。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →