Millwright 开源：自托管 Rust LLM 路由器支持混合供应商
teachmehowtowookiee · reddit · 2026-07-28
一位开发者开源了 Millwright，这是一个用 Rust 编写的、自托管的 LLM router，定位是比 OpenRouter 更透明、也更省钱的方案。
- 它支持把 自托管模型 和托管模型放在同一层路由里混用
- 当前支持的 provider 包括 OpenAI-compatible API、Anthropic、Amazon Bedrock
- 路由能力包含按角色分配模型、选择最便宜且健康的路径、故障切换、熔断、超时和并发限制
- 还会按团队追踪花费、缓存使用、模型/供应商组合以及请求 trace
- 可输出 HTML / Markdown / JSON 格式的成本分析
- 部署方式是单个 Rust 二进制，支持 Docker、SQLite 或 PostgreSQL
作者表示，项目部分代码也是由 AI 编码 agent 参与生成，希望收到关于路由策略和 provider 覆盖面的反馈。
「编程与Agent」频道最新
- 梗图：AI 编码工具已经要教爸妈用了 — michael_nielsen · 2026-07-29
- Claude 加 Kling MCP，一张图就能生成四种电影感视频 — azed_ai · 2026-07-29
- Qdrant 联合 Future AGI 和 AWS 讲自我改进检索循环 — qdrant_engine · 2026-07-29
- Claude 结合 Higgsfield MCP，把奥德赛神话做成 40 秒电影视频 — azed_ai · 2026-07-29
- Codex Desktop 线程内自动化必须置顶才会运行 — carlosdponx · 2026-07-29
- Poolside 推出 macOS 桌面助手运行编码 Agent — nathanbenaich · 2026-07-29