FlexRouter 用 DPP 建模模型互补性,LLM 路由不再选「同病相怜」的模型
Wang Wei · hf · 2026-10-02
现有 LLM 路由方法独立打分选 top-k 模型,忽略模型相关性,常选出失败模式重叠的冗余组合。FlexRouter 显式建模模型互补性,优化「答案覆盖率」——即至少一个被选模型答对的概率,契合多候选生成+下游验证器挑选的实际推理管线。
技术要点:
- 将路由形式化为面向覆盖率的子集选择问题,用 行列式点过程(DPP) 同时刻画模型能力与冗余度;
- 训练目标通过对失败集做边缘化,直接优化覆盖率而无需真值子集;
- 推理时用基于边际 log-行列式增益的贪心策略,自适应决定子集大小,无需预设预算。
在大规模 RouterEval 基准上,FlexRouter 在域内与域外任务上均以更低冗余实现更高覆盖率,同时保持灵活的推理成本。
「Infra」频道最新
- DGX Spark 被 Linux 隐藏 4.1 GiB 内存,两个技巧找回 — marian_nmt · 2026-10-02
- 断网医院里本地模型成救命工具:24GB 内存可跑 Qwen3-4bit — AaronBergman18 · 2026-10-02
- TensorFold 0.6.1 上线 DGX Spark 性能大增:8 流提速 36% — EAccelerate_42 · 2026-10-02
- 开源权重模型落后闭源仅 4 个月,适用边界在哪里 — TechPreacher · 2026-10-02
- 谷歌首颗太空算力原型卫星随 SpaceX 发射成功 — elonmusk · 2026-10-02
- 别再租用 AI 记忆:Qdrant Edge 离线演示 15MB 端侧亚毫秒向量检索 — AI Engineer · 2026-10-02