REPA 作者圈热议：端到端训练潜扩散模型简洁优雅值得一读
serrjoa · x · 2026-11-01
一条围绕扩散模型训练范式的论文讨论串，核心脉络：
- 自 REPA 发布以来，扩散社区的焦点从大规模训练 DiT 转向更高效地训练 DiT。REPA 的核心观点是：生成模型训练的瓶颈在于表征学习，用外部预训练视觉编码器的表征对齐去噪网络隐藏状态即可大幅加速——SiT 训练加速超过 17.5 倍，收敛后质量也更好。
- REPA-E 进一步提出端到端联合训练 DiT 与 VAE，以获得更好的输入空间并加速收敛；其关键发现是扩散损失不能直接反传给 VAE，否则会导致潜空间模式坍塌（因为 VAE 空间为重建而非生成设计）。
- RAE 则革新了训练范式，证明可以直接使用（相关脉络见原帖）。
转发者与讨论者认为，尽管在 ImageNet 上训 DiT 如今更像玩具实验，这篇端到端训练论文仍因方法简洁优雅而值得关注。
「研究」频道最新
- 开源记忆层 ICE 实测:复杂度不低,却输给纯向量 RAG — Deepnar_S · 2026-11-01
- 仅 109M 参数小模型图像-文本对齐超越 72B 模型,训练数据省 42 倍 — Lazylion2 · 2026-11-01
- 猜架构谜题:三张空白结构图考你认不认识经典 ML 模型 — cneuralnetwork · 2026-11-01
- TIL：布尔电路其实可以是环形结构，不必是无环 DAG — thomasahle · 2026-11-01
- 开源 Platypus：模仿海马体-皮层双系统的持续学习语言模型 — ChrisLLM · 2026-11-01
- 从 Attention 到 TTT:一文梳理「平均化」路线的演进脉络 — SonglinYang4 · 2026-11-01