UniT 框架让统一多模态模型学会多轮规划、检查与迭代精炼
burkov · x · 2026-11-01
Andriy Burkov 介绍了一篇关于统一多模态模型推理时计算的新研究。
- 问题：统一多模态模型能同时理解与生成图像，但通常一次生成结果，难以处理需要满足多条指令、多次编辑相互叠加、或视觉结论需要校验的任务
- 方法：UniT 框架训练单个统一模型进行规划、检查自己的输出、并在多轮中迭代精炼。研究者用其他模型生成和批评图像，构建了约 12,000 条经过筛选的多步推理与编辑样本
- 实现：基于该数据微调 Bagel 模型，在图像生成、组合式编辑、多轮编辑及视觉理解任务上测试
「多模态」频道最新
- 同一支万圣节视频：制作时间从 5 小时压缩到几步搞定 — miilesus · 2026-11-01
- ComfyUI 批量计时节点 v0.2.3 发布：三模式计时与智能 ETA — HermanKwan · 2026-11-01
- 摄影向 FLUX.2 Klein 4B 微调 Morgana 1.2 开源，H100 上 4.6 秒出图 — bakatristan · 2026-11-01
- 博主称 Google Omni 让视频剪辑师「过时」,真实性待证实 — CodeByPoonam · 2026-11-01
- ScanRuler 新演示:3D 扫描自动转成可编辑 CAD 模型 — banteg · 2026-11-01
- Magnific 用 Claude 与 MCP 做万圣节游戏，动画一步到位 — petewoodbridge · 2026-11-01