RECON 论文:推理时复用 REPA 投影头,训练比 REPA 快 25 倍
udmrzn · x · 2026-10-17
arXiv 论文《Representation Conditioning for Generation》（Saeed Razavi 等）提出 RECON 方法，改进扩散 Transformer 的语义注入：
- 问题：REPA 等表征对齐方法训练后丢弃投影头，仅靠速度预测损失监督的深层并不保证获得语义信息。
- 方法：训练时把预训练视觉编码器的 token 直接送入 DiT 后续层；推理时因无干净图像，复用 MLP 投影头作为视觉编码器代理，把输出投影到后层。
- 结果：不增加任何参数，收敛大幅加速——比 SiT 快 63 倍、比 REPA 快 25 倍；ImageNet FID 提升，且更少采样步数仍保持高质量生成。
- 代码已开源。
「研究」频道最新
- 陶哲轩提出「四种数学化」框架：AI 重度使用需强人类理解护航 — ravithejads · 2026-10-17
- 王梦迪团队 LabOS 登 Nature：AI 协助提出假设与设计实验 — MengdiWang10 · 2026-10-17
- 「话到嘴边」式检索成新难题：Agent 时代检索系统的重要盲区 — bclavie · 2026-10-17
- AI 圈热议：「话到嘴边」查询成检验检索系统意图理解的新标尺 — ctjlewis · 2026-10-17
- micro1 发布 LegalReasonBench：用真实法律事务测模型长程推理 — douwekiela · 2026-10-17
- LEASH 框架：小模型打头阵，成本降 19.2% 媲美全时 Claude Opus 5 — xwang_lk · 2026-10-17