像素空间扩散模型训练慢，适合蒸馏阶段提速 3 倍
bdsqlsz · x · 2026-08-20
新论文《像素空间文本生成图像扩散模型的实证研究》对比了像素空间与潜在空间的训练效率。研究发现，直接在像素空间进行大规模预训练收敛速度远慢于潜在空间。
核心发现与策略：
- 提出一种“潜在转像素”策略：先在潜在空间高效获取生成先验，后训练阶段再切换至像素空间。
- 系统研究了权重初始化、数据组成、预测目标等关键设计。
- 结果：该策略训练出的像素模型效果匹配或超越潜在模型，且实现了 3.18 到 4.75 倍的端到端推理加速。
- 技巧：使用 Noise scale 为 2 可减少色彩漂移。
所属事件:新研究发现像素空间训练扩散模型更适合蒸馏(2 条相关)→
「研究」频道最新
- dots3-note Preview 展示未知环境适应与自迭代能力 — omarsar0 · 2026-08-20
- Critic 优于环境奖励: 隐藏规则游戏案例 — omarsar0 · 2026-08-20
- TEMPO 让同一模型在 actor 与 critic 间切换评估长任务 — omarsar0 · 2026-08-20
- 学者反思强化学习：擅长设限却不利于培养长期能力 — sethlazar · 2026-08-20
- 观点：将 STS 研究重包装为技术 AI 安全以适应当前资金环境 — evijit · 2026-08-20
- PySR v2.0 发布：高性能符号回归工具寻找数学规律 — MilesCranmer · 2026-08-20