商汤 SenseNova-U1.5 技术报告:免 VAE 原生 4K 图像生成
Secret_Yak2496 · reddit · 2026-09-16
商汤 SenseNova 发布 8B 原生统一模型 SenseNova-U1.5 的技术报告,支持图像理解、生成与编辑,不依赖外部视觉编码器或 VAE,图像直接映射为视觉 token,每个 token 代表 32×32 像素区域。
核心方法:
- 空间联合重建:相比 U1 逐 token 独立解码(高分辨率下出现 patch 边界与纹理不连续),U1.5 将 token 恢复为 2D 特征图,通过 Pixel Shuffle 与 3×3 卷积联合重建相邻区域。
- 原生 4K:分辨率感知噪声条件从 2048² 扩展到 4096²。
- 先专精后统一:分别训练美学、双语文字渲染、信息图生成、图像编辑四个 RL 专家,再通过多专家 on-policy 蒸馏合并为单一模型。
训练数据:新增 59M 文图对(78 个来源)、约 38M 图像编辑样本,88.2% 有效生成训练量高于 1024²,64.4% 高于 2048²。
报告显示在高分辨率连续性、中英文文字渲染、信息图与编辑保持上均有提升;已知问题包括密集小字、强约束排版、小脸手部以及多参考编辑漂移。模型已在 GitHub 与 Hugging Face 开源。
所属事件:商汤开源 SenseNova U1.5：8B 原生统一模型(2 条相关)→
「多模态」频道最新
- Midjourney sref 双码组合实测：中世纪版画风格的猫骑士 — sergeantsref · 2026-11-02
- AI 生成毛绒质感角色设计：狐耳少女、外星虫人与猫咪摄影师 — OVolosin82152 · 2026-11-02
- Fable 5.5 被曝一行代码一次通过生成动画，Anthropic 押注编程意外切入动画赛道 — Hesamation · 2026-11-02
- FlowHMR 提速 5 倍：LLM Agent 自动完成视频动捕到渲染全流程 — camenduru · 2026-11-02
- AI 生成 70 年代复古 MV《Rock is Dead》,质感以假乱真 — Mother-Pear-2392 · 2026-11-02
- 周末逛玩 3D 高斯泼溅：COLMAP + Lichtfeld 实拍 Splat — janusch_patas · 2026-11-02