EXL3-QLoRA 开源:直接在 2-8bpw 量化模型上做 QLoRA 训练
Unstable_Llama · reddit · 2026-10-12
Reddit 用户 UnstableLlama 发布 exl3-qlora:一个基于 ExLlamaV3 的原生量化训练实现,纯 PyTorch、不依赖 transformers,可直接对 2-8bpw 的 EXL3 量化模型做 QLoRA 微调,突破以往只能用 BNB 4-bit 的限制。作者称 EXL3 同尺寸精度最高、loss 更低,adapter 以标准 PEFT 格式保存,可在 TabbyAPI/PEFT 加载或合并回基座模型。
支持与特性
- 模型:Llama3、Mistral Small/Medium、Qwen3 dense/MoE、Gemma3/4(含 MoE)、Arcee Trinity 等,训练前与推理 forward 逐家校验
- 训练方式:SFT/DPO/KTO,支持 rsLoRA、PiSSA,可选对 MoE 专家、embedding、LM head 加 LoRA
- 工程:单卡/多卡分层/DDP、sample packing、jinja 聊天渲染(含工具调用与推理)、梯度检查点、8-bit/paged 优化器、Liger kernels、浏览器实时训练监控,还支持加载模型边聊天边训练 adapter
基准:Qwen3.5-4B 上,EXL3 6.0bpw eval loss 2.128(峰值显存 12.7 GiB),4.0bpw 2.152,3.0bpw 2.165;同数据同硬件下 bnb NF4 为 2.183。bnb 速度约快一倍,但 exl3 更省显存、loss 更低。项目已用该管线发布多个模型。
「编程与Agent」频道最新
- 胡彦斌用字节 TRAE 开发舞台装置:舞者触碰光束即奏宫商角徵羽 — vista8 · 2026-10-12
- JetBrains 研究：编程 Agent 基准与真实用户任务流严重脱节 — rohanpaul_ai · 2026-10-12
- 开发者动手写 AGPL 可自托管版 Overleaf 替代品 — AlpinDale · 2026-10-12
- mitsuhiko 周末带娃搭「软件工厂」，AI 生成游戏水平惊人 — mitsuhiko · 2026-10-12
- 开源 agent-seat:给 AI 一个独立 Windows 桌面,不再抢占你的屏幕 — Fun-Instruction-3430 · 2026-10-12
- PayPal 黑客松项目 yes-if：把风控的「拒绝」变成「有条件放行」 — damnGruz · 2026-10-12