HiT 论文:分层 Diffusion Transformer 像素空间端到端生成,ImageNet 256 达 1.48 FID
niloofar_mire · x · 2026-11-19
arXiv 新论文《Hierarchical Diffusion Transformer for End-to-End Image Generation》(Xiaoyu Wu 等,与 Lydia E. Kavraki、Steven Wu 合作):
- 问题:像素空间扩散模型能在无预训练视觉编码器的情况下端到端联合学习表征与生成,但纯像素 Transformer 在生成质量与训练效率上落后于两阶段 latent diffusion。作者假设部分差距源于 backbone 全程每 patch 仅保留一个 token,未显式鼓励逐层粗化的视觉层级。
- 方法:HiT 渐进式地把相关 token 分组、每组压缩为单个 token,主 Transformer bottleneck 处理紧凑的组 token,再展开还原到原图位置;通过压缩预算调节批内平均压缩比,分组数量可随图像与扩散时间步动态变化。
- 涌现能力:无需分割标签即可学会把连贯物体及部件成组;文生图中还能在无区域标注时把 caption 词与对应图像 patch 分到一组。
- 成绩:ImageNet 256×256 上达到 1.48 FID,与主流两阶段 latent diffusion 相当。论文、代码与在线 demo 均已开放。
所属事件:HiT 分层扩散模型实现像素端到端图像生成(2 条相关)→
「多模态」频道最新
- Fable 5.2 自主迭代生成音乐弹珠循环动画,还会自我修正卡顿 — dreamwieber · 2026-11-19
- 20 秒生成逼真 3D 机械臂运动测试,作者称传统 CGI 已死 — ZeYanjie · 2026-11-19
- 午休实测:ChatGPT+CapCut 插件把手机照片变成 GTA6 风开场视频 — alifcoder · 2026-11-19
- Trelis 开源语音隔离与打断检测模型,小企业可免费商用 — alexcovo_eth · 2026-11-19
- NVIDIA 联手 Voxel51、Encord 直播演示 Cosmos Data Factory 生成训练数据 — NVIDIAAI · 2026-11-19
- Gradium 设计 16000 个声音后的经验:好 voice prompt 的五个要素 — rdesh26 · 2026-11-19