商汤发布 SenseNova-U1.5:8B 无编码器统一模型实现理解生成一体
KyeGomezB · x · 2026-09-14
商汤团队发布 SenseNova-U1.5,一个 8B-MoT 原生统一多模态模型,采用 encoder-free、VAE-free 架构,在像素空间直接完成图像理解、推理、生成与编辑,支持原生 4K 分辨率生成。
关键做法:
- 通过空间连贯的 patch 重建强化视觉接口,配合精心筛选的生成与编辑数据扩展训练
- 后训练阶段分别优化视觉美学、双语文字渲染、信息图生成、图像编辑四个专项 RL 专家,再用多专家 on-policy 蒸馏合并回单一模型
- 评测显示图像保真度、文字渲染、复杂构图、多参考编辑与交错生成均大幅提升,同时保持指令跟随、主体身份与未修改区域不变
论文以此论证视觉理解与生成可以共享同一原生表征,而非分离的两套系统。
「多模态」频道最新
- 曝 Gemini 4 Carbon 实测:比 Opus 5.5 便宜 3 倍、快一倍以上 — vitaliychiley · 2026-10-31
- Customuse 推出 Decals：解决 3D AI 模型生成 logo 与文字模糊的痛点 — SimplyAnnisa · 2026-10-31
- AI 生成童话短片：眼泪变毛线，全镇疯狂造泪 — gizakdag · 2026-10-31
- ComfyUI 预览图节点扩展：点击即可一键保存出图 — sitefall · 2026-10-31
- 用 Gemini 全家桶拍 MKUltra 黑历史微剧,总 API 花费仅约 $35 — korymath · 2026-10-31
- 手柄当无人机操控镜头:Godot 相机路径数据喂给 Wan 生成视频 — droidsculptor · 2026-10-31