Marigold V2 重审扩散 Transformer,深度估计 AbsRel 提升 16-26%
Cohere_Labs · x · 2026-10-08
Cohere Labs 公开科学社区公布下周(10 月 12-16 日)两场研究分享会,其中 Marigold V2 讲座信息量最大:
- Marigold V2(单目深度估计):把基于 DiT 架构的图像生成/编辑模型改造为单目深度估计器,核心是从预训练多步 flow-matching 模型做单步推理,必要时配合量化。训练上采用两阶段微调协议和新的 Sinkhorn 损失,解决了朴素训练的伪影问题。在 KITTI 和 ETH3D 上 AbsRel 较此前最佳提升 16-26%,能清晰处理毛发、树叶和发丝级边缘,并可迁移到表面法线估计、本征图像分解等稠密回归任务。
- Semigroup-JEPA:面向零样本物理泛化的潜空间动力学一致性方法。
两场均由 Cohere Labs Open Science 社区组织,免费线上参加。
「多模态」频道最新
- Reddit 用户用 MiniMax H3 把《The Cone》拍成短片 — nikhilprasanth · 2026-10-08
- Ideogram 发布 4.5 图像模型，新 UI 加视频集成获好评 — bennash · 2026-10-08
- Dreamina 推出首个 AI 影剧集内容品牌「Dreamina Originals」 — LudovicCreator · 2026-10-08
- 用 Claude/Gemini 逐帧拆解视频，生成 Seedance 提示词复刻自己 — TawohAwa · 2026-10-08
- MiniMax 设计工具演示：写代码生成 JS 动画与讲解视频 — Hailuo_AI · 2026-10-08
- 单卡 RTX 5090 用 Drifting 方法从零训练土耳其语 TTS — kadir_nar · 2026-10-08