LIMSSR:缺失模态动作评分新方法
机器之心 · wechat · 2026-07-10
北京大学彭宇新团队联合福州大学柯逍团队提出了 LIMSSR,用于训练阶段也存在模态缺失的不完整多模态动作质量评价,并已被 ICML 2026 接收为 Spotlight,代码已开源。 方法把任务重构为“部分观测到分数”的条件序列推理:先用提示引导的上下文感知模态补全推断缺失模态语义,再通过多维融合词元汇聚评价信息,最后用掩码感知的双路径聚合平衡大模型语义推理与统计恢复。
机器之心 · wechat · 2026-07-10
北京大学彭宇新团队联合福州大学柯逍团队提出了 LIMSSR,用于训练阶段也存在模态缺失的不完整多模态动作质量评价,并已被 ICML 2026 接收为 Spotlight,代码已开源。 方法把任务重构为“部分观测到分数”的条件序列推理:先用提示引导的上下文感知模态补全推断缺失模态语义,再通过多维融合词元汇聚评价信息,最后用掩码感知的双路径聚合平衡大模型语义推理与统计恢复。