FlexUMM 论文:统一多模态模型的嵌入空间其实并不统一
jindong_wang92 · x · 2026-10-30
Jindong Wang 等发布 FlexUMM 论文,指出统一多模态模型(UMM)虽结构上共享嵌入,但嵌入本身对不同任务存在偏好:部分偏向理解、部分偏向生成,统一训练存在表征冲突。
核心思路:
- 主张打破「所有输入与功能共享相同深度与参数」的固定假设:共享支持跨功能通信的计算,而把任务/输入专属的容量特化
- FlexUMM 动态决定何时保留共享计算、何时路由到特化容量、何时提前停止处理
- 双重收益:减少功能间的有害竞争提升准确率;表征成熟后避免冗余计算提升效率
- 即插即用:作为 model-agnostic 插件可增强现有 UMM
论文与代码已开源。
所属事件:FlexUMM 论文指出统一多模态模型嵌入空间并不统一(2 条相关)→
「多模态」频道最新
- Parametric Studio 开源:所有开放模型整合进一个 ComfyUI 工作室 — EqualLettuce3014 · 2026-10-30
- PJ Ace 新片成本 2.8 万美元,系列播放量已破 6200 万 — DavidmComfort · 2026-10-30
- Sonder Editor 独立成 App:ComfyUI 视频工作流搬上时间线编辑 — SonderSaid · 2026-10-30
- 同一素材同一提示，Claude Opus 5.5 与 GPT-6 Astra 剪出两支完全不同的视频 — CodeByPoonam · 2026-10-30
- 开源 MarcoStudio：13 个图像视频工具跑在你自己的 ComfyUI 上 — Available-Way-2117 · 2026-10-30
- 创作者用 Pokee Isaac 与 Claude Code 制作音乐歌词视频 — Kyrannio · 2026-10-30