自建多模型 Agent 网关:难点不在选模型,而在流式与工具调用
Amendxd · reddit · 2026-09-21
作者团队为多模型 Agent 工作流自建了一个轻量网关,核心发现是:多供应商切换本质是集成问题而非模型选择问题。
痛点集中在边界处:
- SSE 分块与消息/JSON 边界错位
- OpenAI 的 toolcalls 与 Claude 的 tooluse 块结构不同但信息相似
- 各家错误码、错误体、finish reason 不一致
- 多项目独立 key 导致用量核算难以对账
网关对外提供两条兼容路径:OpenAI 兼容的 Chat Completions 和 Claude Messages 兼容端点;内部统一处理 SSE 归一化、工具调用格式互译、错误归一化、动态路由和用量/余额管理。
作者指出最难的不是 happy path:部分流式断线重连、保留原始供应商事件用于调试、以及重试/回退不污染成本核算,都还需大量测试。
「编程与Agent」频道最新
- 实测智能体三条攻击路径:MCP 配置 8 次全泄露,shell 零泄露 — DaimoNNN · 2026-09-21
- 开发者自建 SkillBill 编排器：丢 Linear 链接后全自动交付 PR — Sermilion · 2026-09-21
- 开发者开源 SkillBill:Kotlin 编排器接管 Claude Code 全流程,QA 退回率近零 — prakersh · 2026-09-21
- AI 编程 Agent 的隐性门槛:懂代码内部原理才能管住它 — antoine_chaffin · 2026-09-21
- Amp 创始人分享 bug 修复五步法:主动道歉与补偿形成正循环 — HankYeomans · 2026-09-21
- 一次内部审计揭示:AI 智能体的 IAM 权限远超其所需 — Careless_Sabfey_4906 · 2026-09-21