26ms 决策模型 s1-llm-auto-router 开源,为请求自动选 LLM
airesearch12 · x · 2026-10-15
Decision Models 发布开源权重小模型 s1-llm-auto-router:读取请求后在毫秒级内选出最合适的 LLM,用于降低调用大模型的路由成本。
- CPU 上 26ms 出结果,支持 22 种语言,MIT 许可
- 路由测试(2175 条合成请求、22 种语言、5-LLM 共识标注)中与金标一致率 74.2%,类别准确率 89.8%,均超过 Jev 1.13、Winnow-12B 等对比模型
- 德国五大 IT 咨询公司之一 msg(年营收 15 亿欧元、万余人)将在内部项目中实测,用于优化其 LLM 使用效率
- 模型已上线 Decision Models 平台,是该公司首个面向具体用例的决策模型
思路是用小而专的决策模型替代「问大模型」做路由判断,成本仅为后者零头。
「Infra」频道最新
- 黄仁勋:欧洲不缺科学家,缺的是 AI 革命所需的长期能源方案 — karmicoder · 2026-10-15
- 迁出 1PB 云数据仅出口费就达 7.4 万美元,总成本可达 50 万美元 — DavidLinthicum · 2026-10-15
- 机器人缺它的「ChatGPT 时刻」:全球操作数据仅 30 万小时,缺口达百倍 — 0xSammy · 2026-10-15
- 阶跃 Step 5 Preview 上 GB300 跑出近 8K tokens/s,600B 开源权重 — StepFun_ai · 2026-10-15
- Ramp 融资 18.5 亿美元,估值 600 亿,8.5 万企业月省超 10 亿美元 — SethGRosenberg · 2026-10-15
- GPU 供给过剩论 vs 无限需求:算力泡沫下买市场不买工厂 — bittingthembits · 2026-10-15