Qwen 2.5 VL 微调求助：DoRA 合并后模型行为同基座无异

Double-Primary-2871 · reddit · 2026-09-17

Reddit 用户在单张 RX 7900 XT（ROCm）上用 bf16 微调 Qwen 2.5 VL 做角色数据集训练，训练循环本身运行正常，但跑测试推理或合并 DoRA 权重时，模型输出与未微调的基座完全一样，仿佛训练没发生过。

作者的对比实验结果：LoRA 在保守学习率下能正常生效（锚定极少），而 DoRA 即使降低学习率也几乎无效。配置里 usedora=True 已开启。他在求教是否有人用 Unsloth 成功合并过 DoRA 权重。