Appearance Pointers 给 DiT 加上局部多模态控制

Rahul Sajnani · hf · 2026-07-22

Appearance Pointers 解决的是 Diffusion Transformer 在局部区域可控生成上的问题：不仅要“画什么”，还要精确控制“哪里该长成什么样”。

论文提出 appearance pointers 这种紧凑 token，把文本或图像线索和用户指定的 mask 对齐，再通过 region correspondence network 和空间聚合机制，把外观信息送到正确区域。作者称这是首个无需从头重训底模的、面向 DiT 的局部多模态控制接口。实验上，这个单模型在多项指标上达到或超过了专门做区域控制的方法。