分布式 LLM 路由器发布:支持统一管控与私有推理
arthurcolle · x · 2026-08-21
Dsco-router 推出分布式 LLM 路由服务,定位为私有推理控制平面。该产品允许用户在一个工作区内统一管理多达 15 个实验室的模型账户,通过单一 OpenAI 兼容端点进行路由。核心功能包括:
- 账户级访问:一次注资,连接多个提供商账户。
- Chimera 策略:支持自动模型选择与回退链配置。
- 权限管控:每个请求都有授权的提供商通道、预算决策和可审计结果。
- 兼容性:保持使用现有 OpenAI 客户端,网关在边界转换格式。
- 财务控制:支持项目配额、硬性支出上限和信用持有。
「Infra」频道最新
- 异构计算系统实测:新硬件组合击败前沿模型 — ShahabBakht · 2026-08-21
- AMD MI300x vs 英伟达 H100:Agent 编码实测对比 — locker73 · 2026-08-21
- 退订 Claude Pro:玩家用 5090 本地跑 Qwen 接续全部工作 — SOC_FreeDiver · 2026-08-21
- AI 路由新趋势:为特定任务匹配最佳模型与Harness — richdotca · 2026-08-21
- 阿里季利润暴跌 75%,重金投入 AI 算力基建 — Polymarket · 2026-08-21
- TorchSpec 合并 DFlash2 训练支持,新增 Qwen3-8B 配方 — zhyncs42 · 2026-08-21