LoRA 合并重量化实测:Qwen3.8B 速度提升 50% 语法零失败
yb2698 · x · 2026-11-20
bchap1n 分享了一次本地模型修复的完整过程与 A/B 对照结果:
修复方法
- 将 LoRA adapter 合并进权重(llama-export-lora)→ 生成 hybrid GGUF → 用 llama-quantize --allow-requantize 重量化为 IQ4XS(14.2 GiB)
- 保留 MTP(nextn)与 q80 KV cache @160K,presencepenalty 设 0
- 新配置写入 configs/qwen38-pi-merged-iq4xs-mtp-quality.yaml
A/B 结果(对照夹心法,同一组提示词)
- pi-merged:Standard 86.6 tok/s、Coding 85.9 tok/s,tldrScore 10.0/10.0,语法失败 0
- 对照组 ud-quality:80.5/79.3 与 78.0/78.2 tok/s,tldrScore 9.93/10.0 与 8.03/9.82
- 原始 pi-lora:仅 57.6 tok/s,语法失败 ×3
结论:合并 adapter 并重量化后,速度提升约 50%,输出质量反而更好且消除了语法失败,是一套可直接照做的 llama.cpp 量化调优流程。
「Infra」频道最新
- 美国批准向中国企业出口 87.99 万颗 Nvidia 与 AMD 芯片 — tzmartin · 2026-11-20
- Cerebras 深度解析:晶圆级芯片如何为 LLM 推理降数据搬运 — draecomino · 2026-11-20
- Neon MCP 服务器支持按 Postgres 角色执行 SQL,用数据库权限约束 AI agent — JeremyCMorgan · 2026-11-20
- Odd Lots 播客拆解 GPU 租金暴涨图:B200 租赁指数一年涨 45% 未必利好行业 — AccBalanced · 2026-11-20
- 黑客借 gdb 改 suid 拿 Root:无 EDR 的 Linux 内网设备成跳板 — cyb3rops · 2026-11-20
- 新规要求 Nscale 向字节跳动提供 GPU 需美国许可,占其 73% 营收 — SumitGup · 2026-11-20