Lluna:用单模态模型协作补齐缺失模态的推理
williammary · hf · 2026-10-16
William & Mary、CMU、Microsoft 与芝加哥大学的论文研究多模态协作中的一个反直觉现象：当某些模态缺失时，多个单模态模型协作的结果可能反而不如幸存的那个单模态模型，且聚合表征会丢失模态特异性信息。
Lluna 的方案：
- 保留来自适配单模态特征的直接预测路径，叠加一个基于图的协作分支提供残差修正
- 提出 Progressive Collaboration Consistency 训练，按「富模态→贫模态」的引导组织一致性约束
- 在涵盖情感计算、场景理解、医疗预测的 8 个数据集上取得最佳平均性能
「多模态」频道最新
- 「RiRi」AI 生成图爆火：钻石头饰与闪片长裙以假乱真 — egeberkina · 2026-10-16
- SeedAudio 1.5 将登陆 CapCut PC:一条提示生成对白、音效与配乐 — LearnWithBishal · 2026-10-16
- DLSS 5 实测画面逼真到反转：玩家称「比现实还真实」 — CSProfKGD · 2026-10-16
- 用 fal agent 一键换角:视频角色按 character sheet 重铸 — adamho · 2026-10-16
- 开发者开源 Krea 2 像素画 LoRA：16x16 游戏图标一键生成带透明背景 — Angaisb_ · 2026-10-16
- 用 Opus 5.5 驱动 Midjourney 创作：模型审美只需正确引导 — yuwen_lu_ · 2026-10-16