斯坦福 LILIE:语言信息监督让文生图 gFD 降低 14 个点

StanfordUniversity · hf · 2026-10-21

斯坦福大学论文(作者含 Fei-Fei Li、Jiajun Wu 等)提出 LILIE(Language-Informed and Lossless Image Encoder),研究语言信息监督能否为视觉生成提供比纯像素损失更丰富的训练信号。

核心做法：训练一个可逆的 normalizing-flow transformer 图像编码器，使其噪声特征仍可被视觉-语言模型通过 next-token prediction 恢复出 caption；再用该编码器提取语言信息相关的损失，用于文生图训练。用 LILIE 损失训练 JiT 模型，在 GPIC 数据集上相比纯像素基线将 gFD 从 66.84 降至 53.01，降低 14 个点。代码、编码器与生成模型已开源。