上交大等提出 RAVEL:训练评测 210 个 MLLM,为视觉编码器选择立强基线
jiqizhixin · x · 2026-10-26
视觉编码器是多模态 LLM 的核心组件,但更换编码器即使 LLM 主干不变也会显著改变下游表现;逐一端到端训练候选编码器再评测的成本又过于高昂。上海交大、南京大学、复旦等机构团队提出 RAVEL(Arxiv 2610.05413),作为评测多模态大模型视觉编码器的强基线。
- 现有轻量预测器分为单模态(如图像分类分数)与跨模态(视觉-语言表征对齐)两类,直觉上跨模态方法应更优
- 团队训练并评测了 210 个 MLLM,发现随候选编码器多样性增加,传统跨模态方法性能退化,甚至落后于单模态方法
- RAVEL 通过度量跨模态最近邻一致性来选择编码器,方法简单但有效
「多模态」频道最新
- 开源本地图片库 OmniImage:4 万张 ComfyUI 产出秒开,离线 CLIP 语义搜索 — MatheusWMac · 2026-10-26
- 角色 LoRA 实测：在 SFT 模型上训练反而 likeness 最佳 — 1or4s · 2026-10-26
- 被赞近年最佳 AI 电影:《Malfoid》哈利·波特同人片节奏获盛赞 — granawkins · 2026-10-26
- 独立创作者用 Meta AI 打造拳击动画《Hibana Riku》先导 — MobileFilmmaker · 2026-10-26
- AI 生成邮局场景视频：六位一模一样的女主引爆「哪来的」热评 — Postal_Shame_Revival · 2026-10-26
- AI 动画短片《The Starter is Dead》：角色一致性惊艳 Reddit — Comprehensive_Help71 · 2026-10-26