U-JiT 抛弃 VAE，像素空间端到端视频生成在 Kinetics-600 达 SOTA
LucaAmb · x · 2026-11-05
研究团队发布 U-JiT，一种不依赖视频自编码器（VAE）的视频生成架构，直接在像素空间训练并端到端优化，在 Kinetics-600 上达到 SOTA 结果。
- 传统做法：预训练 VAE 编码到潜空间 + DiT 去噪 + 解码器重建，存在压缩-重建权衡
- U-JiT 的核心思路是通过架构设计重新思考压缩，绕开 VAE 环节
- 配图展示了从 latent 视频模型到 pixel-space U-JiT 的对比结构
「多模态」频道最新
- 手绘草图 4.5 分钟变可打印 3D 模型:Kimi K3.1 Pro 实测开源工作流 — Arindam_1729 · 2026-11-05
- ReSeed：仅训练第一步偏差，恢复蒸馏扩散模型丢失的多样性 — kwangmoo_yi · 2026-11-05
- ReSeed 论文:给去噪首步加小偏置集,找回蒸馏丢失的多样性 — kwangmoo_yi · 2026-11-05
- ChatGPT 上线 GIF 功能:Images 2.6 可文字或照片生成动画 — The Decoder · 2026-11-05
- Viggle Remake 开源发布：AI 角色套用爆款视频模板，720p 每十秒仅 0.96 美元 — ZabihullahAtal · 2026-11-05
- 开发者自研手写引擎:还原 1522 年至今各家笔迹,每个字母都不重样 — floguo · 2026-11-05