GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解
Tengju Ru · hf · 2026-10-23
Hugging Face 上发布的 GAFU 方法提出利用统一多模态模型中「原生生成侧表征」来增强细粒度视觉理解。
- 阶段一：压缩与对齐——图像经生成编码器得到 G-tokens,通过空间绑定(局部 patch 预测)与关系结构对齐(全局图像 affinity + 多尺度局部区域 affinity)压缩为紧凑 token 并与理解编码器对齐。
- 阶段二：任务条件注入——推理时按任务将投影后的 G-tokens 作为 cross-attention 的 K/V,文本表征作为 Q,经残差更新实现任务相关的视觉细节读取。
该方法让模型能按需检索细粒度视觉信息(如精确回答「猫的眼睛是什么颜色」),提升统一生成+理解模型在细粒度任务上的表现。
「多模态」频道最新
- AI 生成完整角色设定图:忧郁旅行猫 Finch 全案曝光 — azed_ai · 2026-10-23
- 网友晒出 AI 生成绘本角色设定图完整提示词，三视图加表情姿势一步到位 — azed_ai · 2026-10-23
- Synthesia 推出 Syren Video：对话式剪辑称 LLM 已成出色视频剪辑师 — synthesiaIO · 2026-10-23
- 首部自制 AI 美剧《最后的巨魔》全网播放破数百万 — yangyi · 2026-10-23
- FLUX.3 Image Klein 实测:15 组复杂提示词横评微距、文字与流体物理 — SkirtSwimming8950 · 2026-10-23
- Midjourney质感手绘插画风格sref码分享：三个代码直接出图 — sergeantsref · 2026-10-23