将FLUX.2文本编码器剪掉38%
ThaJedi · reddit · 2026-07-07
作者将FLUX.2-9B-klein的文本编码器剪掉38%，参数从7.57B降至5.10B，使fp8版本在768×768图像生成时整个管线可装入16GB显存而无需文本编码器offload。依据是DiT只读取编码器第9/18/27层隐藏态，于是删除多余层；再对相邻层做SLERP合并、用Wanda剪枝FFN宽度、按敏感度探针移除GQA KV组，每步都对原编码器做恢复蒸馏。嵌入保真度（masked cos）从1.0仅降到约0.975。权重和ComfyUI节点已开源。