NeurIPS 2026论文ORCA：一个训练损失修复文生图组合错误
mo_lotfollahi · x · 2026-10-09
ORCA（已被 NeurIPS 2026 接收）针对文生图模型的组合性失败：比如要"红方块旁边蓝球"，结果颜色绑错对象、空间关系颠倒、数量漂移——单个物体都画得很好，坏的是组合关系。
作者指出部分原因在文本编码器：CLIP 几乎把提示词当"词袋"读，知道有哪些概念但不知道它们如何关联；SD3 和 FLUX 加入 T5 编码器保留结构信息，但失败依旧。团队的观点是：信息其实在那里，只是训练中没有任何信号教模型把这些信息与图像外观绑定。
ORCA 通过仅训练阶段的一个额外损失补上这一信号，推理零开销。在 DiT-L/2 上，它击败了训练时长两倍的 vanilla 和 REPA 模型，颜色绑定与空间关系任务提升约 3 倍。
「多模态」频道最新
- 740M 参数跑通消费级边缘芯片:跨模态对齐嵌入模型获赞 — clmt · 2026-10-09
- Qwen 开源图像模型 Turbo：8 步去噪出 2K 图，API 同步上线 — Alibaba_Qwen · 2026-10-09
- GenIA:免重训对齐 SAM3D,单图到高保真 3D 重建 SOTA — JonathonLuiten · 2026-10-09
- 用 MiniMax H3 复刻 Ben 10 名场面:10 次重试加手动剪辑 — nUclear_nOva89 · 2026-10-09
- 「橡皮擦鬼影层」提示词走红：让人物从半擦除粉笔痕中浮现 — LudovicCreator · 2026-10-09
- VNCCS PoseStudio LoRA 让 Qwen-Image 按人体模型姿势重绘任意角色 — linoy_tsaban · 2026-10-09