16GB 显存无 block swap 训 Krea2 LoRA,量化+优化压到 5-7s/it
Corgice · reddit · 2026-10-19
Reddit 用户分享在单卡 16GB 显存上训练 Krea2 LoRA 且不用 block swapping 的完整路径:
- 模型适配:Krea2 体积太大,作者改动了 musubi-tuner,使其支持在 int4 convrot 量化版模型上直接训 LoRA(此前没找到现成工具),已开源。
- 速度优化过程:RTX 4080 Super 初测约 13s/it;换 RTX 5060 Ti 反而 18s/it;尝试 int4 convrot + nvfp4 混合量化收效甚微。
- 关键突破:最新 ComfyUI + cu130 带来大幅提升,推理达约 2s/it(无 cfg、1k 分辨率),训练降到 9s/it;再叠加 Flash Attention + torch.compile 后训练速度达 5-7s/it。
- 资源与设置:训练时 VRAM 占用 12-13GB,RAM 约多占 2GB;设置:1024 分辨率、batch size 1、AdamW、梯度累积 1。
- 待解问题:部分数据集出现 V 形 loss 曲线,尚不确定是数据集问题还是量化(疑似 QWT 方法)导致。
代码开源于 GitHub(musubi-tuner 的 supportint4convrotkrea2 分支),1200 步约 1.6 小时。
「多模态」频道最新
- 研究员预测:2027 年将出现广为人知的 AI 生成歌手或电视节目 — Afinetheorem · 2026-10-19
- 宝马 i7 电视广告用 3D 数字孪生实现虚实无缝匹配 — chris_zerolight · 2026-10-19
- 玻璃质感蜘蛛侠头部渲染刷屏:闪电星云半面,蛛丝吊一只小蜘蛛 — egeberkina · 2026-10-19
- 4D 高斯泼溅浏览器演示上线,Chrome 即可体验 — janusch_patas · 2026-10-19
- 作者分享 4 个 Midjourney V6.1 心水 --sref 风格代码 — michaelrabone · 2026-10-19
- 哥特卡通插画提示词分享:一键生成暗黑童话风角色 — azed_ai · 2026-10-19