EPFL 提出 COMPASS:对齐/合并前先算模型配对兼容性
epfl-ch · hf · 2026-10-15
EPFL 等团队提出 COMPASS(COMPatibility ASsessment Score),用于在对齐或模型合并之前预测两个模型是否兼容:
- 背景:组合预训练模型(视觉编码器配语言模型、合并微调检查点)时,兼容性通常只能在昂贵的训练之后才知道,导致大量算力浪费。
- 方法:基于「表示收敛的稳健性在局部邻域层面最高」这一观察,把兼容性分解为两个低成本可计算的维度——衡量两编码器 k-NN 重叠的 pair-specific ease,以及衡量训练范式允许的最大重叠的 paradigm-level ceiling。
- 用途:对候选模型对进行排序,指导算力在跨模态对齐与合并任务间的分配。
对炼丹者与模型合并玩家是实打实的省卡指南。
「研究」频道最新
- AI 实验室缺的不是合成数据,而是真实的 agent 失败日志 — heyshrutimishra · 2026-10-15
- LLM 挖出 599 个 NeurIPS 项目的代码提交史：约 24% 研究决策被推翻或弃用 — ChenhaoTan · 2026-10-15
- 斯坦福分析 46 万条私聊：把 AI 当朋友越倾诉，心理健康越差 — JHochderffer · 2026-10-15
- ICLR 民调:75% 受访者支持录取率降至约 10% — tallinzen · 2026-10-15
- AReA 免训练让 DiT 分辨率扩 6 倍、提速 3.2 倍 — CSProfKGD · 2026-10-15
- arXiv 机器人论文周产5年涨6倍,10月单周峰值达676篇 — Rewkang · 2026-10-15