新图像视频模型流行搭一个微调 LLM 做提示词升采样器

ostrisai · x · 2026-11-20

AI 图像模型开发者 ostris 观察到一个新趋势:很多新发布的图像/视频生成模型都会附带一个微调过的 LLM 作为提示词升采样器(prompt upsampler),同时文本编码器用的是另一个不同的 LLM。他提出一个架构猜想:与其分开训练两个 LLM,不如直接把 prompt upsampler 作为扩散模型的文本编码器来联合训练,这样效率可能更高。这一观察揭示了当前媒体生成模型在文本条件注入上的工程冗余,对做多模态模型的人有架构设计层面的启发。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →