索尼 Syn-Omni:共享 LoRA 加模态专家路径,81 项任务领先全模态嵌入基线
_reachsumit · x · 2026-10-09
索尼团队论文 Syn-Omni 2610.12256提出结构化全模态嵌入框架。
- 问题:现有全模态嵌入方法在混合数据上共用单一参数空间,通用语义与模态特有特征缺乏结构分离
- OME-LoRA(正交模态专家 LoRA):将适配分解为共享 LoRA 路径(通用语义)+ 各模态专家 LoRA 路径(模态特化)
- PSR(渐进协同路由):专家先建立模态内先验,再逐步跨模态交互形成协同
- 评测:覆盖图像、视频、音频、视听共 81 项任务,持续超越全模态基线;代码已开源
「多模态」频道最新
- 开源 huashu-art-motion:35 种艺术风格让画动起来,单条动画报价数百到千元 — AlchainHust · 2026-10-09
- VOCALOID7 AI Megpoid 预售:中岛爱声源,8 种声线可切换 — CurieuxExplorer · 2026-10-09
- Iris-3B 开源:像素空间生成与通用视觉学习模型发布 — Total-Resort-3120 · 2026-10-09
- TerraVis:用 MLLM 工作流量化文生图的「世界一致性」缺陷 — the-aiml · 2026-10-09
- LMArena 后训练配方:偏好+细则奖励组合,Flux2dev Elo 提升 69 分 — lmarena-ai · 2026-10-09
- 听声音就能认出 Opus 生成的视频,音画同步节奏成新指纹 — hudzah · 2026-10-09