清华与 Z.AI 研究:图像生成训练能扩展统一多模态模型的知识

zai-org · hf · 2026-10-19

清华与 Z.AI 的研究团队(文楷丽、洪文毅等)探索一个反直觉问题:学会「画」一个东西,能否让模型更懂它?通过对照实验验证,视觉图像生成训练确实可以扩展预训练统一多模态模型(UMM)的知识——模型通过图像生成学到的新事实,能迁移到纯文本问答中,尽管纯文本访问这些知识仍有难度。

研究还发现,配合对齐技术可以进一步改善模型对视觉习得信息的文本调用能力,说明生成与理解可以相互强化。