阿里提出表示引导RG：459M参数像素扩散Transformer超越更大模型
alibabagroup · hf · 2026-10-12
视觉表示多用于理解，但什么让它对生成有用仍不清楚。作者在像素扩散 Transformer 中研究该问题，得到两个关键发现：
- 更好的表示质量不一定带来更大生成价值，外部对齐的语义会在像素合成过程中逐步丢失。
- 架构分离加专用像素解码器主要只是重新分配语义与空间建模，未必产生更适合生成的表示。
据此提出 Representation Guidance (RG)，在保留朴素 Transformer 架构的同时直接形成并利用内部表示：用低维瓶颈把生成相关信息压入紧凑表示，再通过修改 flow-matching 目标（依据其诱导的预测偏移）显式引导解码器生成。
结果：ImageNet 256×256 上，仅 459M 参数的 RG-L/16 超越大得多的像素扩散 Transformer，RG-XL/16 达到 FID 1.55；512×512 下 FID 1.74；扩展到文生图后在 GenEval 0.89、DPG-Bench 87.1。
「多模态」频道最新
- 当年押注代码而非图像生成，Anthropic 的豪赌正被验证 — IndraVahan · 2026-10-12
- 用 Claude、Gemini、Flux 制作 5 分钟印度历史纪录片 — deedydas · 2026-10-12
- 浙大 MixTok 混合视觉分词器：约 131 token 达 gFID 1.95 — ZhejiangUniversity · 2026-10-12
- AI 生成土屋照片走红：小黏土烤炉成了画面里最可信的物件 — misovalko · 2026-10-12
- 本地 AI 音乐分离工具 Lux In Music 上新：支持 MP3/FLAC 多轨分离 — alexcovo_eth · 2026-10-12
- 一句话指令搞定品牌发布视频，Capsule agent 一次生成零返工 — DavidBennett__ · 2026-10-12