FuseReg:层融合正则化弥合表征自编码器的重建-生成鸿沟,gFID 降 29%
USC-PSI-Lab · hf · 2026-09-28
USC PSI Lab 提出降7FuseReg，解决表征自编码器（RAE）中层融合选择的权衡问题。
问题：RAE 复用预训练视觉编码器特征作为扩散生成 latent，但浅层保留像素细节更好、深层生成指标更好，固定启发式融合难以兼顾。
方法：用随机编码器层子集训练替代启发式特征选择，理论上可证明子集采样显式惩罚跨层分歧敏感性。
结果（ImageNet-256 + DINOv3-L）：
- 单个 FuseReg 解码器无需重训即可从全层/稀疏/单层融合重建，PSNR 超过专用于固定融合的解码器
- 仅替换解码器，gFID（无引导）在 RAEv2 DiT-XL 生成器上降低 27%
- 同样正则原则扩展到扩散训练，两阶段联合正则使 DiT-Base 的 gFID 再降 29%
结论：为下游模型训练层融合鲁棒性，可在不动预训练编码器的前提下弥合重建-生成差距。
「研究」频道最新
- IMLE-VLA 单步替代流匹配,机器人动作生成提速 3.67 倍达 55Hz — petitegeek · 2026-09-28
- Red Queen 生物公司用 AI 加湿实验提前备药应对天然与合成病毒 — _sholtodouglas · 2026-09-28
- Yacine 演示同套基础设施通用 sim2real：两分钟完成训练 — yacineMTB · 2026-09-28
- Claude 从物理 preprint 中揪出被遗漏的 1/2 系数 — tak3sh8 · 2026-09-28
- Astra 通关 Zork 后认出被扰动过的「变体」版本 — tw_killian · 2026-09-28
- Kaggle 推出 Game Arena:用国际象棋、德州扑克、狼人杀对抗评测 LLM — kaggle · 2026-09-28