NeurIPS 论文 PORTAL:跳过多模态 projector 训练,FLOPs 降 135 倍
anshulkundaje · x · 2026-10-14
一项入选 NeurIPS 2026 的研究系统研究了多模态 LLM 中 projector 训练的作用，并给出替代方案 PORTAL。
- 发现：projector 训练主要提供的是粗对齐（coarse alignment）
- 由此提出 PORTAL：一种免训练的 projector 初始化方法，不需要成对 caption，也不需要梯度更新，可直接跳过 projector 训练阶段，进入多模态指令微调
- 在 16 个 benchmark 上：7 个模型配置中 3 个超过标准 558k 配对流水线，其余 4 个平均达到其 98% 的分数
- 若辅以少量 projector 训练，可以用 135 倍更少的对齐 FLOPs 追平基线
论文、网页与代码均已公开。
「研究」频道最新
- DatologyAI 启动 Datology Labs,开放协作研究数据科学 — pratyushmaini · 2026-10-15
- Prime Intellect 实测 ECHO：受限回合下胜过纯 RL — DimitrisPapail · 2026-10-15
- 新晋伯克利助理教授列研究清单：预训练-后训练对齐与安全设计智能体 — canondetortugas · 2026-10-15
- 伯克利推出 QF3：过滤 Q 梯度的离线策略 RL，可从头训练人形机器人 — berkeley_ai · 2026-10-15
- Anthropic 研究员:VLM 视觉进展惊人,一两年内性能与成本将超人类 — arnabdotorg · 2026-10-15
- 只发布与人类多数一致的评分器,Andrew Perrault 谈评测环境构建 — arnabdotorg · 2026-10-15