Runner 实现直接在量化 GGUF 上训 LoRA,免 PyTorch 免 FP16 底模

ZenZombie117 · reddit · 2026-10-14

Reddit 用户分享开源工具 xyntetik-runner,可直接在 serving 用的量化 GGUF 权重上训练 LoRA 适配器,无需 PyTorch/transformers、无需保留 FP16 底模:CPU 训练前向与 serving 前向完全一致,训练出的适配器就是线上跑的那份。

用法(命令齐全):

--train data.l --train-steps 200 --lora-rank 8 在冻结的 Q4KM 底模上训出 adapter.gguf,并自动记录 base/data/adapter 的 sha256、seed 与配置
--lora adapter.gguf --serve 在底模旁挂载 serving
--merge-lora merged-Q80.gguf --quant q80 把适配器折叠进独立文件供任意 GGUF 运行时使用
-f eval.txt --score 提供 teacher-forced logprobs 用于评测

注意坑:4-bit 训练的适配器在合并进权重时会"消失",工具默认拒绝此类合并。作者用 Qwen3-4B Q4KM 单任务做了工具调用成绩前后对比,并注明结论不保证泛化到其他模型。对本地微调/端侧部署是相当实用的玩法。

「Infra」频道最新