新研究绕开 VAE 解码器,DiT 潜空间可线性探测直接预测像素
kwangmoo_yi · x · 2026-11-19
一条讨论 Chen 等论文《Decoding Without a Decoder: Direct Pixel Prediction from Diffusion Transformers》的推文:研究发现可以对扩散 Transformer(DiT)的潜空间做线性探测,直接预测像素,从而跳过解码器。作者据此发问:训练时使用 V(Q)AE 是否只是为了加速,而实际上可以被抛弃?这一结果对「扩散模型必须依赖 VAE 压缩潜空间」的常规假设提出了挑战。
所属事件:斯坦福 DWD 论文:扩散模型免解码器直出像素(4 条相关)→
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19