LoRA 替代方案 GCMP 实测:单张 A40 无损服务 256 个适配器不掉速
textclf · reddit · 2026-11-21
作者更新了其 LoRA 替代方案 GCMP 的完整实测:在 Qwen3.8-27B 上仅训练 2.9M 参数(约 11 MB)。
质量:与 LoRA r=8、r=32 和 VeRA 在 9 项 benchmark 上全部打平(McNemar 配对检验,所有 p ≥ 0.15)。由于 r=8 与 r=32 效果相当,公平对比下 GCMP 比 LoRA r=8 小约 14 倍(而非此前声称的 55 倍)。VeRA 尺寸和效果几乎相同且训练快 2 倍,但 vLLM 无法服务 VeRA。
多适配器服务(单张 A40 48GB,vLLM 0.27.1,CQ 4-bit 基座,32 并发、每请求随机适配器):
- GCMP 从 1 到 256 个适配器吞吐稳定在 83.7 tok/s,p95 TTFT 仅 2.2 秒,加载 256 个适配器约 6 分钟。
- 默认配置下 LoRA 在 64 个适配器时吞吐下降 35-40%,p95 TTFT 飙到约 50 秒;256 个适配器加载需 30-77 分钟。
- LoRA r=32 在 48GB 卡上开 32 个槽位直接无法启动。
CQ 4-bit 基座:9 项 benchmark 上与 BF16 持平,而 NF4 在 GSM8K 掉 12 分。主要短板是训练速度,GCMP 每步耗时约为 LoRA 的 2 倍,作者下一步在优化 CQ 解码内核。
「Infra」频道最新
- 2.7万思考token零回答:谷歌Vertex AI以HTTP 200自动扣费23次空崩溃 — Plenty-Jackfruit-218 · 2026-11-21
- Hy4 Flash 读 100 万 token:Mac Studio 44 分钟,DGX Spark 81 分钟 — AIFlow_ML · 2026-11-21
- local-ai-registry:每块 GPU 一份实测验证过的本地模型运行配方 — LiTianleli · 2026-11-21
- Sous Labs 开源 Songe:用闲置算力在本地微调你自己的模型 — alexcovo_eth · 2026-11-21
- AI 供应链调研:2027 算力产能已售罄五到十成,资本开支还将连年大涨 — sudoraohacker · 2026-11-21
- exolabs 曝 agent 自主优化推理引擎:一天内把新模型提速 7 倍至 210 tok/s — simonguozirui · 2026-11-21