像素空间扩散模型训练慢，适合蒸馏阶段提速 3 倍
bdsqlsz · x · 2026-08-20
新论文《像素空间文本生成图像扩散模型的实证研究》对比了像素空间与潜在空间的训练效率。研究发现，直接在像素空间进行大规模预训练收敛速度远慢于潜在空间。
核心发现与策略：
- 提出一种“潜在转像素”策略：先在潜在空间高效获取生成先验，后训练阶段再切换至像素空间。
- 系统研究了权重初始化、数据组成、预测目标等关键设计。
- 结果：该策略训练出的像素模型效果匹配或超越潜在模型，且实现了 3.18 到 4.75 倍的端到端推理加速。
- 技巧：使用 Noise scale 为 2 可减少色彩漂移。
所属事件:新研究发现像素空间训练扩散模型更适合蒸馏(2 条相关)→
「研究」频道最新
- MIT 博士 Sharut Gupta 入职 DeepMind,答辩 talk 被导师力荐 — phillip_isola · 2026-10-16
- 每图元仅 10 参数:36 个图元精准拟合 T-pose 人体 — letandrewcook · 2026-10-16
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16
- 四页短文解 subcubic 全对最短路径，借力 Anthropic AI 参与的突破 — gautamcgoel · 2026-10-16
- 浙大等团队发布 ATAS 框架：用世界状态记忆实现一致性长视频生成 — CSProfKGD · 2026-10-16