像素端到端训练 HiT 达 ImageNet FID 1.48,省 2.4 倍算力
niloofar_mire · x · 2026-11-19
HiT:让像素空间生成自己学出抽象层级
- 现有主流做法是借用单独预训练的 SSL/CLIP 编码器提供表征(对齐或直接作编码器),但这会让训练变成两阶段过程。
- HiT 证明像素空间生成可以端到端地通过自适应分组与压缩学出自己的抽象层级:无需 mask 或区域标注,语义分组自然涌现——背景坍缩成少数组,主体分到更多组,文字能点亮其指代的区域。
- 成绩:ImageNet 256 上 FID 1.48;同等质量下训练算力比 JiT-H/16 少 2.4 倍;在文生图基准上平均超过参数量 6 倍于它的模型。
- 网站、论文与代码已放出,作者还附了原理与涌现现象的推文串和视频。
「多模态」频道最新
- AI 生成「亚美尼亚肌肉导游」视频走红,画风逼真又搞笑 — EternalSnow05 · 2026-11-19
- 同档生成一次差 5 倍价:Gemini 4 Neon 花费 $1.01,GPT-6.2 Sol 仅 $0.19 — Angaisb_ · 2026-11-19
- 创作者推出 8 集 AI 悬疑动画《23:17》,首集画面已上线 — SimMonzi · 2026-11-19
- Gemini 4 Neon(xhigh)实测:一张提示词画出 Ana de Armas 风格 SVG — lyraxana · 2026-11-19
- Electric Sheep 系列新作 Infinidream 0.17.2 发布,支持 1080p — scott_draves · 2026-11-19
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19