VitronEdit 开源:图像、视频、3D 场景编辑统一进一个模型
Desperate_Day_5416 · reddit · 2026-10-28
Reddit 用户分享了一个相对低调发布的统一编辑模型 VitronEdit(论文 10 月 19 日发布),尝试把图像编辑、视频编辑和 3D 场景编辑放进同一个框架,代码与权重已开源。
支持的能力
- 图像编辑:文本指令修改图像,可选参考图条件
- 视频编辑:用文本指令编辑已有视频,可选参考图条件
- 3D 场景编辑:跨多视角应用编辑并保持几何一致性
- 跨模态学习:把从图像和视频学到的编辑知识迁移到 3D 场景
- 几何感知训练:用深度和相机位姿监督提升结构与多视角一致性
有趣发现:仅对 3D 训练样本施加几何监督,也顺带提升了图像和视频编辑性能。
注意事项:发帖人未实测,不清楚 VRAM 需求、推理速度与泛化效果;这是研究型发布,暂无现成的 Stable Diffusion / ComfyUI 工作流。链接:项目页、论文、GitHub、Hugging Face 权重。
「多模态」频道最新
- Gemini 上线 SynthID 检测:一句提问即可识别 Google AI 生成内容 — GeminiApp · 2026-10-28
- AI 短片:付不起「复活」亡妻费用,她沦为行走的广告牌 — DystopioFilms · 2026-10-28
- 开发者用 Gemini 4 Argon 分析 MIDI 演奏,生成音乐动画系统 — alexanderchen · 2026-10-28
- 一个 Claude Code 技能包搞定 50 种视频特效,一条命令自动换景 — aitrendz_xyz · 2026-10-28
- Genie 4 实时模拟 Blender 跑通,研究者预言两年内全双工 UI 交互上端侧 — mathemagic1an · 2026-10-28
- 开源工作流破解非人形 3D 资产动画:视频生成+DINOv2 关节追踪 — mishig25 · 2026-10-28