百度 ERNIE 团队发布 HiUni:单一稠密骨干统一视觉理解与生成
ernie-research · hf · 2026-11-20
百度 ERNIE 团队发布 HiUni,探索预训练 VLM 能否以大量参数共享直接扩展为统一多模态模型。
- 复用同一语言对齐 ViT 与稠密 Transformer 骨干同时承担理解与生成,任务特定计算只放在输出端
- 引入 Pixel Diffusion Head 解决像素空间生成难优化问题,用轻量 HiGate 通路在输出端补回 ViT 语义抽象丢失的细粒度空间细节
- 实验显示理解成绩与原 VLM 相当,图像生成与编辑具竞争力,证明单一稠密骨干可不区分任务地支持两种能力
「多模态」频道最新
- fofrAI 尝试 Neon 配合 GLSL 循环着色器做生成视觉 — fofrAI · 2026-11-20
- 190M 参数 1GB 像素画 DiT 全开放许可发布,本地训练 126 小时 — ApprehensiveTart3158 · 2026-11-20
- 网店主用 ComfyUI+Modellix 搭 3x3 网格工作流,单图成本最低 3.5 美分 — Niuaia · 2026-11-20
- Astra 6.2 实测:加引导即可实现前所未见的 3D 写实图像效果 — gabrielchua · 2026-11-20
- 爆料:谷歌 Nano Banana Pro 2 已进入发布前最后阶段 — mark_k · 2026-11-20
- 开源 MCP 服务器让 Claude 现场作曲并驱动真实 MIDI 合成器 — konni_away · 2026-11-20