Lluna 框架:小模型协作图补全缺失模态,平均提升 4.26%
jindong_wang92 · x · 2026-10-16
Jindong Wang 等人（William & Mary、CMU、微软、芝加哥大学）发布 Lluna，让 Hugging Face 上现成的小型单模态模型通过协作图共同完成缺失模态推理，无需训练大型多模态模型或引入多智能体。
- 发现问题：多模态协作在输入缺失时，协作增益会减弱甚至反转为负——聚合后模态专属信息恢复不足，且表征随输入状态变化
- 方法：在适配后的单模态特征上保留一条直接私有预测路径，叠加基于图的协作分支做残差修正；Progressive Collaboration Consistency 按「从富到贫」的单模态移除顺序组织引导
- 结果：覆盖情感计算、场景理解、医学预测共 8 个数据集，在非完整输入下平均 Mean-Missing 较最强基线提升 4.26%，且在极简输入下 8 项任务全部保持正协作增益
论文与代码均已公开。
所属事件:Lluna 框架：小单模态模型协作图击败大型全模态模型(3 条相关)→
「多模态」频道最新
- ComfyUI MOSS-GGUF 旧显卡提速：fp16 支持一行代码解锁 — fjgcudzwspaper-6312 · 2026-10-17
- AI 生成裸驾 Cybertruck 喷射飞天图，戴墨镜大卫像当司机 — econoar · 2026-10-17
- 用 Firefly Boards 串起 ChatGPT 图、Seedance 2.5 做出一部 AI 短片 — umesh_ai · 2026-10-17
- 一个 Voyager 对话一天做出虚构音箱 28 秒高端广告片 — ravisparikh · 2026-10-17
- AI 生成动画短片:女版 Malfoy 变傲娇少女,画质直逼番剧 — Infinite_Print390 · 2026-10-17
- 金毛幼犬叫早图爆火，作者公开 Midjourney 完整提示词 — tisch_eins · 2026-10-17