蚂蚁集团发布 UniSpark-9B:混合注意力统一多模态理解与生成
antgroup · hf · 2026-11-13
蚂蚁集团发布技术报告 UniSpark-9B,一个统一的多模态理解与生成模型:
- 架构:基于 Mixture-of-Transformer-Experts 骨干,每个分支约 9B 参数;将全注意力(显式 token 交互)与 GatedDeltaNet 线性注意力(紧凑上下文传播)混合。
- 能力:自回归文本预测 + 视觉 flow matching,支持视觉问答、文生图、指令编辑和图文交错预测;交错生成时通过注意力掩码与循环状态保留规则隔离噪声视觉目标。
- 训练:约 1.597 亿生成样本、2.134 亿理解样本、62.48 万交错序列,四阶段课程训练,图像合成可到 2K 分辨率。
- 成绩:MME-S 2470.3、GenEval 0.83,并展示交错图像生成、视频合成与视频编辑能力。
「多模态」频道最新
- Minimax Image 质量超预期,团队坚持开源路线获社区好评 — Druck_Triver · 2026-11-13
- KREA2 对比 Z-Image、Moss、Qwen 2.1:本地生图该选谁 — tj-tj-tj-tj · 2026-11-13
- ShowTake 发布:让编码 Agent 自己给 App 拍演示视频 — Scobleizer · 2026-11-13
- LoRA 画风训练求助:训练集白底太多,带背景出图就串色 — sonsuka · 2026-11-13
- DAWN 和谐化模型适配 Gaussian Splatting:街拍级换布光保持人脸逐帧一致 — Scobleizer · 2026-11-13
- BirdDreams 驾驶世界模型:单图联生成视角+鸟瞰视频,车流可响应自车动作 — lealtaixe · 2026-11-13