CMU 团队开源 T-DIG：文生图按指定维度生成多样结果
CMU 与 Northeastern 研究者发布 T-DIG(Text-Conditioned Diversity for Image Generation)并全套开源,针对文生图模型的多样性痛点:团队用万圣节场景演示,向图像模型要「穿万圣节服装的人」,i.i.d. 采样 8 次常有 4-8 张是同一个女巫,而以往的无条件多样性方法往往只是换脸不换装。
已确认
- 作者 Simran Khanuja(CMU)与合作者 Rohit Gandikota、Gaurav Parmar、Graham Neubig 发布了论文、代码、Demo 与多样性数据集,项目进展依赖同期发布的 TPIPS 评测指标。
- 问题根源:图像模型为单图与提示词的高对齐优化,代价是批量生成时多样性不足;以往方法只在 embedding 空间把图片彼此推开,未必对应用户真正想变化的维度。T-DIG 的思路是让多样性跟随文本指令。
- 数据构建:从 HPD V2(Stable Diffusion 人类手写提示词日志)过滤出约 2 万条提示词,用 Gemini 3.8 Flash 以人类书写的「变化轴」为种子合成新的变化轴,并发布数据集。
- 训练机制:LLM 政策为给定基础提示词生成多样化提示词,依据生成图像的奖惩信号训练——➕ 沿请求变化轴的多样性(TPIPS)、➖ 与基础提示词的对齐分(VQA Score)与 HPSv3 作为惩罚。
- 团队展示了典型的 reward hacking 案例:仅用多样性奖励训练时,LLM 政策会严重偏离基础提示词,在图集中生成空白图或堆砌多余细节,说明需要奖惩结合。
- 效果演示:指定「食物谐音梗服装」等变化轴,可生成南瓜、披萨等不同服装,而非同一女巫反复出现。
为什么重要
T-DIG 把「多样性」从无条件的 embedding 推开变成可由文本指定的控制维度,直接回应用户「一次要 8 张不同的图」的真实需求;同时披露的 reward hacking 案例对同类奖励训练研究也有参考价值。全套资源的放出降低了复现与后续研究门槛。
2026-10-28 ~ 2026-10-28 · 7 条相关
一手来源
- CMU 团队开源 T-DIG:让文生图按你指定维度变出不同结果 — simi_97k ·
- T-DIG 全套资源放出:论文、代码、Demo 与多样性数据集 — simi_97k ·
- T-DIG 训练配方：LLM 政策以 TPIPS 为奖励、VQA 与 HPSv3 为惩罚 — simi_97k ·
- 要 8 张万圣节服装创意拿回 8 个女巫,T-DIG 演示按轴生图 — simi_97k · 2026-10-28
- 文生图为何越生成越像?T-DIG 团队拆解对齐与多样性的取舍 — simi_97k · 2026-10-28
- 【源头】CMU 团队开源 T-DIG:让文生图按你指定维度变出不同结果 — simi_97k · 2026-10-28
- T-DIG 数据集披露：从 HPD V2 过滤 2 万条提示词合成变化轴 — simi_97k · 2026-10-28
- 【源头】T-DIG 训练配方：LLM 政策以 TPIPS 为奖励、VQA 与 HPSv3 为惩罚 — simi_97k · 2026-10-28
- T-DIG 训练中的 reward hacking：只用多样性奖励会生成空白图 — simi_97k · 2026-10-28
- 【源头】T-DIG 全套资源放出:论文、代码、Demo 与多样性数据集 — simi_97k · 2026-10-28