14 步手推 Sora 的 DiT:提示词与时步只靠缩放和平移注入
ProfTomYeh · x · 2026-09-16
ProfTomYeh 用 14 个手工步骤拆解 Sora 背后的 Diffusion Transformer (DiT)。核心结论:DiT 就是一个预测噪声的 transformer——视频以潜空间 patch 进入、从不接触像素;提示词和扩散时步唯一的作用点是通过自适应 LayerNorm 生成 scale 和 shift 两个算术操作,而不是一个独立模型。
流程要点:
- 视频切成跨时空的 patch,视觉编码到潜向量(论文中 196,608 维→4,096 维)
- 按时步 t 加噪;提示词与时步编码拼接后估出 scale/shift 施加到被噪潜向量上
- 自注意力让 patch 在时空上混合,保持帧间一致性;FFN 输出预测噪声
- MSE 损失对可学习参数反向传播(编码器/解码器冻结);去噪、解码、重排 patch 即生成过程
作者强调:第 4、11 步是训练,12–14 是生成,其余是可堆叠几十层的模块。DiT 思想延续至今成为视频生成模型的基础。
「多模态」频道最新
- Midjourney sref 双码组合实测：中世纪版画风格的猫骑士 — sergeantsref · 2026-11-02
- AI 生成毛绒质感角色设计：狐耳少女、外星虫人与猫咪摄影师 — OVolosin82152 · 2026-11-02
- Fable 5.5 被曝一行代码一次通过生成动画，Anthropic 押注编程意外切入动画赛道 — Hesamation · 2026-11-02
- FlowHMR 提速 5 倍：LLM Agent 自动完成视频动捕到渲染全流程 — camenduru · 2026-11-02
- AI 生成 70 年代复古 MV《Rock is Dead》,质感以假乱真 — Mother-Pear-2392 · 2026-11-02
- 周末逛玩 3D 高斯泼溅：COLMAP + Lichtfeld 实拍 Splat — janusch_patas · 2026-11-02