27B 模型单卡多租户部署:4-bit 格式零精度损失,适配器比 LoRA 小 55 倍
textclf · reddit · 2026-11-14
thousandml 团队针对「一个基座 + 大量客户微调适配器」的多租户部署场景,发布了 CQ 4-bit 格式与 GCMP 适配器方法,代码开源、可复现全部数据。
CQ 4-bit 基座
- 免校准的 4-bit 格式,Qwen3.8-27B 上体积 18GB(BF16 为 55.6GB)
- 与 BF16 相比在 9 个基准上无显著差异;而 NF4(bitnessandbytes)在 GSM8K 上掉了 12 分(p=3e-6),意味着多数 QLoRA 起点本就偏弱
GCMP:LoRA 替代
- 仅 290 万可训练参数(约 11MB),LoRA r=32 约 1.59 亿参数(约 320MB)
- 与 LoRA 在 9 个基准上无显著差异,验证损失还略低
- 1000 个适配器约 11GB 存储,而非 320GB
部署与限制
- vLLM 单基座可同时服务多个 GCMP 适配器,按请求选适配器、可混批;也支持全精度基座
- 局限:训练步时长约 2 倍于 LoRA;目前需 CQ 基座才能 vLLM 服务,支持流水线并行但不支持张量并行;仅在单一模型/数据集上验证
「Infra」频道最新
- 马斯克：未来星舰单次可送超 50 Tb/s 星链带宽上天 — elonmusk · 2026-11-14
- 英国芯片创企 Fractile 融资 9.4 亿美元,估值 75 亿叫板英伟达 — 20VC · 2026-11-14
- GitHub 月度可用率图走红：微软收购后宕机明显变频繁 — zacharynado · 2026-11-14
- Targon SDK 更新:一套 API 统管 VM、裸金属与沙箱 — JosephJacks_ · 2026-11-14
- AWS Emulator 正式 GA：数百 AI Agent 三周写出 2 万次提交 — iamfakhrealam · 2026-11-14
- 48小时内四大系统接连宕机：从FAA停飞到Claude全球瘫痪 — r0ck3t23 · 2026-11-14