Open Vision Banana 开源复现:把图像生成器改造成多任务视觉感知系统
NielsRogge · x · 2026-11-17
Yuki M. Asano 等人发布完全开放、可复现的 Open Vision Banana(OVB)配方,将预训练图像生成器转化为统一的多任务感知系统,补齐 Vision Banana 未公开的数据、权重与实现细节。
- 方法:把视觉任务框定为条件图像编辑;分析找出对泛化最关键的设计选择——颜色编码、prompt 设计、参数适配、任务平衡,且这些选择相互影响,单独有效的组合起来可能有害
- 规模:基于 4B 与 9B 开源权重基座,用公开数据集 2.1M-3.8M 训练对训练
- 成绩:Cityscapes 零样本 mIoU 73.9 对 Vision Banana 的 69.9;深度估计可媲美 SOTA 仿射不变模型;指代与推理分割差距 5 分以内,实例分割仍有差距
- 新技巧:legend ensembling——用多套类别颜色图例分割同一图像并多数投票融合,免重训即可让 mIoU 在 Cityscapes 提升 8.7、COCO-Object 提升 15.0 点,属生成式感知的测试时扩展方法
数据构建管线、训练/评测代码及各阶段 checkpoint 全部开源。
所属事件:Open Vision Banana 开源:让图像生成模型「看懂」图像(3 条相关)→
「多模态」频道最新
- ElevenLabs 移动端上线可定制视频字幕 — azed_ai · 2026-11-17
- 色差立体错觉出图玩法:一段 Prompt 让颜色自己「凸出画面」 — LudovicCreator · 2026-11-17
- CLAP2 模型新 demo:音频自动分割,附 HF Space 可试玩 — wightmanr · 2026-11-17
- AI 生成「罗伯特·帕丁森版 007」,胶片质感以假乱真 — egeberkina · 2026-11-17
- Higgsfield 推出短剧工作室:一份剧本生成整季短剧 — CurieuxExplorer · 2026-11-17
- 作者用 MiniMax H3 做AI表演测试:同一角色演绎六种情绪 — Acrobatic-Example315 · 2026-11-17