12GB 显存跑通 MOSS-Image 角色 LoRA 训练:7.1GB VRAM、54 秒出图
Mycelia_Bygonepath · reddit · 2026-10-31
团队在单张 12GB RTX 3060 上将 5B DiT 的 MOSS-Image(int8 量化权重 + Qwen3.5-9B 文本编码器 + Flux2 VAE)集成进本地工作流,并训练 21MB Rank-16 角色 LoRA,把单张生成时间从 345 秒降到 54–65 秒。踩坑与解法极具参考价值:
- Flux2 128 通道隐空间陷阱:Flux2 VAE 将 2×2 空间子块打包进通道维(32×2×2=128),对这类隐张量做 F.interpolate 双线性插值会混淆子块相位,导致首轮训练只输出模糊剪影。解法:用未插值的 36×36 干净隐空间裁剪(576×576 像素块)
- int8 注意力核不可反传:attentioncomfykitchenint8 前向快但无 autograd,proj.qkv 的 LoRA 梯度为零。解法:对目标层(28..41 层共 56 个线性模块)设 blk.comfyattention.function = None 走 F.scaleddotproductattention,240 步约 10 分钟收敛,峰值 VRAM 7.10GB
- 推理用 Bypass 而非 Merged:LoraLoaderModelOnly 会反量化-加 delta-重量化,引入 1.0156 最大量化误差;LoraLoaderBypassModelOnly 保持 int8 基座不动,仅 1.8% 步时开销
文中所有示例图均内嵌完整 ComfyUI 工作流,可直接拖入复现。
「多模态」频道最新
- AI 虚拟演员短片翻车现场:网友吐槽「vocal fry」腔调 — jamesianm · 2026-10-31
- 用 StandRig 让 AI 一小时半小时建好 DeepSeek Live2D 模型 — Promptmethus · 2026-10-31
- AI 生成原始人短片《Caveman Field Trials》实拍级效果惊艳 — acgeoffrey · 2026-10-31
- ComfyUI 开源节点包 KRC NodePack:本地模型与提示词目录管理 — riceandnori · 2026-10-31
- 实测 Pika H3 Flex:画质出色但 15 秒片段要 40 分钟生成 — Important-Apple7422 · 2026-10-31
- 创业者观点:声音的信息密度远超视觉,计算机听觉仍在石器时代 — JosephJacks_ · 2026-10-31