RINO:用RGB统一视觉理解与生成
cihangxie · x · 2026-07-19
RINO 提出把“视觉理解”和“图像生成”统一成 **RGB-to-RGB translation**。 - 核心思路:不针对具体任务单独训练,而是复用冻结的图像编辑模型。 - 它可以把输入图像映射为深度、mask、姿态、边缘等中间表示,再把这些表示转换回自然图像。 - 作者主张,这种方式能在不做任务专训的情况下,同时覆盖识别与生成两类能力。
cihangxie · x · 2026-07-19
RINO 提出把“视觉理解”和“图像生成”统一成 **RGB-to-RGB translation**。 - 核心思路:不针对具体任务单独训练,而是复用冻结的图像编辑模型。 - 它可以把输入图像映射为深度、mask、姿态、边缘等中间表示,再把这些表示转换回自然图像。 - 作者主张,这种方式能在不做任务专训的情况下,同时覆盖识别与生成两类能力。