无需额外权重:利用参考图实现 FLUX.2 姿态与深度控制
ashishsanu · reddit · 2026-08-01
由于现有 ControlNet 无法很好支持 FLUX.2 klein 等模型,一位开发者重构了工作流,实现零额外权重的结构控制。
核心原理
- 利用 OpenPose、Depth Anything V2 或 Canny 提取图像的结构特征图。
- 将该图作为参考图(而非初始潜变量)输入 FLUX.2 的 Structure map 接口。
- FLUX.2 在整个去噪过程中会持续关注参考图序列,因此无需设置去噪强度即可保持结构。
方案细节与限制
- 零依赖:该流程在 FLUX.2 全系模型上无需加载额外模型权重,预处理均在 CPU 运行,不占用显存。
- 可选增强:若使用 FLUX.2 dev 且需极高贴合度,可额外加载 ControlNet Union 进行残差注入,但这需要较大显存(24GB 卡约留 512px 余量)。
- 局限性:不支持多图叠加(如同时约束姿态和深度);大框架和身体姿态保持良好,但精确关节角度和手部可能会漂移;不支持像素级锁定。
- 硬件需求:Klein 4B 在 bf16 精度下生成 1024² 图像峰值显存约 17.9 GB。
「多模态」频道最新
- 视频生成模型 Seedance 2.5 即将上线 Higgsfield — PAstynome · 2026-08-01
- 海螺MiniMax新视频模型提示词与多参考实测 — DavidmComfort · 2026-08-01
- Opus 5 零提示一键生成 3D 马里奥,全程纯程序化生成 — Dr_Singularity · 2026-08-01
- Inkling-Small 本地运行实测:精准解析 85 格复杂医学化验单 — MaziyarPanahi · 2026-08-01
- AI 视频提示词进阶:像写分镜脚本而非许愿 — HeyAmit_ · 2026-08-01
- Google Earth引入AI生图功能,被指可轻易伪造战区难民等虚假场景 — The Verge AI · 2026-08-01