「先知道再画」：语言监督视觉预训练新范式，无像素损失
CSProfKGD · x · 2026-10-29
论文提出新的视觉生成学习范式：用语言监督的视觉 tokenization 做自回归预训练，不依赖像素重建损失，再用像素扩散做后训练。拟合的 scaling law 和实验都表明这有助于扩散后训练的扩展。
核心观点：
- 在语义空间建立层级：文本 → 语义 → 像素；AR 学「画什么」，扩散学「怎么画」
- 学视觉生成最重要的是视觉知识，它可以与像素精度/渲染能力分离——正如 LLM 预训练获取知识、后训练塑造行为
- 方法在概念上与 GPT Image 等前沿模型中的 text rewrite / agentic 信息收集相似：都是用额外条件消解生成不确定性
「多模态」频道最新
- Foyege Draconia 实拍级 AI 人像：发丝与皮肤质感惊艳社区 — nobodyreadusernames · 2026-10-29
- 开源实时数字人方案：单张免费 T4 从 30 FPS 优化到 90 FPS — SavingsWeather1659 · 2026-10-29
- Runway 推出 Character Swap：换视频角色场景且保留原始动作与音频 — runwayml · 2026-10-29
- 30 秒 AI 动画短片《猫头鹰送来的信》，WAN 3.0 制作 — Burak_Antakya · 2026-10-29
- 用一段提示词把图表变动态数据动画，5分钟出商务级视频 — TawohAwa · 2026-10-29
- 博主实测 Claude 驱动 Remotion:5 分钟把图表 Logo 变动画视频 — TawohAwa · 2026-10-29