新图像视频模型流行搭一个微调 LLM 做提示词升采样器
ostrisai · x · 2026-11-20
AI 图像模型开发者 ostris 观察到一个新趋势:很多新发布的图像/视频生成模型都会附带一个微调过的 LLM 作为提示词升采样器(prompt upsampler),同时文本编码器用的是另一个不同的 LLM。他提出一个架构猜想:与其分开训练两个 LLM,不如直接把 prompt upsampler 作为扩散模型的文本编码器来联合训练,这样效率可能更高。这一观察揭示了当前媒体生成模型在文本条件注入上的工程冗余,对做多模态模型的人有架构设计层面的启发。
「多模态」频道最新
- 博主用 GPT-6.2 生成可漫游的卢浮宫模拟,每幅名画都被复刻 — venturetwins · 2026-11-20
- Slopcore AI 音乐视频走红:「她」已复制 5 亿个,你排第几号? — Yamapama · 2026-11-20
- 疑似 GPT-6 Astra 曝光:一句话让模型即时重渲 Blender 3D 场景 — ZeroStateReflex · 2026-11-20
- 2000 年代风 AI 游戏预告片爆火,完整制作流程公开 — Div_pradeep · 2026-11-20
- AI 生成梗图:黄仁勋约会时身后报纸写着「AI 竞赛加速」 — AIandDesign · 2026-11-20
- 用 ComfyUI 和 Claude 打造 AI 短片《Straw》,画面质感惊艳 — TheHollywoodGeek · 2026-11-20