中科大团队提出 Hi-DiT:Latent-Pixel 双流扩散,ImageNet FID 降至 1.06
量子位 · wechat · 2026-09-26
中科大与智象 HiDream.ai 团队提出 Hybrid Latent-Pixel Diffusion Transformer（Hi-DiT），论文已被 ECCV 2026 接收。
核心方法
- 在共享 Transformer backbone 内同时协调 Latent stream 与 Pixel stream：早期高噪声阶段用 Latent stream 完成全局结构与语义规划，后期低噪声阶段通过时间门控（τ=0.3）打开 Pixel stream 补充高频纹理，缓解 Latent 路线细节丢失与 Pixel 路线优化困难之间的矛盾。
- 配套 High-Frequency Pixel Predictor：用卷积 + PixelShuffle 分层上采样预测局部 sub-patch，降低高维像素回归难度。
实验结果
- ImageNet 256×256：CFG 下 FID 1.06；ImageNet 512×512：gFID 1.26；MS-COCO 文生图语义对齐更紧。
- 消融显示：纯 Pixel stream FID 3.38，加 Latent 输入降至 1.74，加高频预测头达 1.65。
- 训练/推理开销仅小幅增加（单 epoch 17.7→18.1 分钟，单图 1.58→1.67 秒），峰值显存 35.52G。
代码与项目主页已开源：https://github.com/HiDream-ai/Hi-DiT
「多模态」频道最新
- 用 Fable 5.2 + Blender 造西部小镇,每块木板都有风化模拟 — ravisparikh · 2026-11-11
- Diffusion Week 2026 十讲全部公开:覆盖视频生成与世界模型 — LucaAmb · 2026-11-11
- RTX 3080 12GB 跑 Wan 2.2：5B 全崩 14B 可用的实测对比 — fixxxer2606 · 2026-11-11
- 独立开发者预告新图像模型：基于 Z-Image，称比肩最新闭源模型 — darlens13 · 2026-11-11
- IFM世界模型PAN 2演示空间一致性:纸飞机坠落全程场景不变 — kimmonismus · 2026-11-11
- Midjourney反重力人像实测:sref 2014403128出片展示 — egeberkina · 2026-11-11