商汤 SenseNova-U1.5 技术报告:免 VAE 原生 4K 图像生成

Secret_Yak2496 · reddit · 2026-09-16

商汤 SenseNova 发布 8B 原生统一模型 SenseNova-U1.5 的技术报告,支持图像理解、生成与编辑,不依赖外部视觉编码器或 VAE,图像直接映射为视觉 token,每个 token 代表 32×32 像素区域。

核心方法:

• 空间联合重建:相比 U1 逐 token 独立解码(高分辨率下出现 patch 边界与纹理不连续),U1.5 将 token 恢复为 2D 特征图,通过 Pixel Shuffle 与 3×3 卷积联合重建相邻区域。
• 原生 4K:分辨率感知噪声条件从 2048² 扩展到 4096²。
• 先专精后统一:分别训练美学、双语文字渲染、信息图生成、图像编辑四个 RL 专家,再通过多专家 on-policy 蒸馏合并为单一模型。

训练数据:新增 59M 文图对(78 个来源)、约 38M 图像编辑样本,88.2% 有效生成训练量高于 1024²,64.4% 高于 2048²。

报告显示在高分辨率连续性、中英文文字渲染、信息图与编辑保持上均有提升;已知问题包括密集小字、强约束排版、小脸手部以及多参考编辑漂移。模型已在 GitHub 与 Hugging Face 开源。

原文链接 →

「多模态」频道最新

• Musubi Tuner 合入 MiniMax H3 视频音频模型训练支持 — bdsqlsz · 2026-09-16
• Unfold 获 OpenAI 新加坡黑客athon两项大奖：把 2D 说明书变 3D 动画指南 — cedric_chee · 2026-09-16
• GPT-6 Astra 单参考图重建室内 3D 场景，结构意外稳 — Dazzling_Gate_330 · 2026-09-16
• 用 flovaai 复刻爆火「火山爆米花」梗，AI 随想成片 — SimplyAnnisa · 2026-09-16
• 用 Seedance 2.5 生成 30 秒 AAA 级奇幻游戏实机概念片 — azed_ai · 2026-09-16
• 作者用 Seedance 2.5 生成 30 秒 3A 级游戏概念画面 — azed_ai · 2026-09-16

更多「多模态」频道 AI 资讯 →