Meta 发布 FLAT:图文统一 1D 表征,T2I GenEval 达 71.1
meta · hf · 2026-09-17
Meta 发布 FLAT(Flexible-Length Aligned Transmodal representations),一个将多模态表征学习与生成联合训练的预训练框架。
核心思路
- 传统做法分两阶段:先训对比/自监督视觉编码器,再接生成模型,生成性能受制于冻结的表征。FLAT 用单一预训练阶段,联合优化共享多模态编码器与下游文生图(T2I)、图生文(I2T)解码器,结合对比对齐与双向跨模态生成目标。
- 架构上把视觉与文本输入映射到统一的连续 1D 序列空间,并对 prefix-K token 施加 nested dropout,实现动态可变输出长度,表征可被生成解码器直接消费。
成绩
- 零样本 T2I 生成 GenEval 71.1
- 任务微调后:T2I GenEval 83.1;MS-COCO 图像描述 40.5 BLEU-4 / 138.6 CIDEr;检索 Recall@5:MS-COCO 86.8(I2T)/ 75.8(T2T2I),Flickr30K 98.3 / 93.6
定性结果显示 FLAT 表征原生支持线性插值、隐空间算术与零样本组合检索。
「多模态」频道最新
- Midjourney sref 双码组合实测：中世纪版画风格的猫骑士 — sergeantsref · 2026-11-02
- AI 生成毛绒质感角色设计：狐耳少女、外星虫人与猫咪摄影师 — OVolosin82152 · 2026-11-02
- Fable 5.5 被曝一行代码一次通过生成动画，Anthropic 押注编程意外切入动画赛道 — Hesamation · 2026-11-02
- FlowHMR 提速 5 倍：LLM Agent 自动完成视频动捕到渲染全流程 — camenduru · 2026-11-02
- AI 生成 70 年代复古 MV《Rock is Dead》,质感以假乱真 — Mother-Pear-2392 · 2026-11-02
- 周末逛玩 3D 高斯泼溅：COLMAP + Lichtfeld 实拍 Splat — janusch_patas · 2026-11-02