从自建 FastAPI 代理到专业 LLM 网关:何时该迁移
Kev926 · reddit · 2026-11-10
一位工程师分享了自己维护自建 LLM 代理的演进困境:最初用 FastAPI 写了个小代理,让应用在 OpenAI 和 Anthropic 之间切换而无需改代码。如今 3 个团队的 4 个应用共用两把 API key,开始遭遇一系列问题:
- 缺少团队级 API key 与用量限额管理
- 请求追踪与计费归因困难
- 敏感客户数据在送达外部供应商前缺乏脱敏
- 日志仅靠一张基础 Postgres 表,难以为继
他向社区求证:迁移到专用 LLM 网关(如 LiteLLM、Portkey 等)是否值得,还是继续在自建方案上迭代。帖子反映了 LLM 基础设施从单应用代理走向多团队网关的典型成长痛点,评论区讨论对处于同一阶段的工程团队有参考价值。
「编程与Agent」频道最新
- SlopOps 警告:把 agentic 编码能力当竞争优势,是在玩「slop 彩票」 — generativist · 2026-11-10
- 开发者用 Fable 5.2 在 Rust 中构建智能体游戏引擎 — EricBuess · 2026-11-10
- 沙特博主用 Claude Fable 5.2 + MCP 做出沙特风味糖果传奇,速度惊人 — aziz4ai · 2026-11-10
- Nashville AI Tinkerers 活动拆解 40 人团队的 AI 软件工厂实践 — JnBrymn · 2026-11-10
- Every 实测 Fable 5.2：设计任务开高档反而不如高档以下，各任务档位有别 — every · 2026-11-10
- Reddit 开发者求 Ramp Inspect 老代码库实测经验：多人在场解释隐晦逻辑 — InternationalKick296 · 2026-11-10