训练 210 个多模态模型后提出 RANCEL:免训练预测视觉编码器下游表现,Spearman 达 0.85
机器之心 · wechat · 2026-10-17
研究团队训练并评测了 210 个 MLLM(70 种视觉编码器 × 3 个 LLM),发现现有跨模态评测指标在候选池扩大后预测能力显著下降甚至不如纯视觉指标。他们提出免训练方法 RANCEL:基于图文表征近邻一致性,配合带稳定项的 PCA 白化与 patch 级双向匹配,平均 Spearman 相关系数达 0.85,大幅超越需训练的 Alignment Probing(+36.1%)及其他免训练方法(+93.5%/+101.1%)。代码、评测框架与全部 210 个模型权重均已开源。
「多模态」频道最新
- MiniMax H3 图生视频角色替换 prompt 结构实测:六段式模板全公开 — photobombolo · 2026-10-18
- Black Forest Labs 时隔许久发新图像模型,图像编辑能力惊艳 — Xianbao_QIAN · 2026-10-18
- DeepSeek V4.1 Flash 一句话生成细节拉满的90年代中国居民楼3D场景 — zizhpan · 2026-10-18
- 开源版CapCut:Rust引擎视频编辑器Concat可被AI Agent直接控制 — techNmak · 2026-10-18
- 学生开源 kimo:无 GUI 视频编辑器,由 AI Agent 经 MCP 驱动 — LieTop7965 · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18