开源网关 Zilla 加入 LLM 支持:难点是保住原生 API 特性而非路由
jkriket · reddit · 2026-10-28
开源项目 Zilla(aklivity/zilla)宣布支持 LLM 网关。作者指出,多数 LLM 网关把一切归一化为 OpenAI 兼容格式,混用厂商或用 Claude prompt caching、extended thinking、流式 tool calls 等原生特性时,参数会在翻译中被静默丢弃;而 passthrough 又会绕过网关本该执行的治理策略。
Zilla 的做法:
- 对 messages/tools/usage 等共同概念用统一表示,同时保留厂商特有细节
- 同方言请求(如 Anthropic→Anthropic)全保真,保留 caching 标记与 thinking 签名
- 跨方言请求尽量翻译,例如 OpenAI 与 Claude 的 reasoning effort 互相映射
- 治理策略作用于每条路由,流式跨方言工作(含 tool-call 片段、流式↔非流式转换)
- 复用多年打磨的 Kafka/HTTP/MQTT/MCP 流式引擎
开源版支持 OpenAI、Anthropic、Gemini、AWS Bedrock、Google Vertex、Azure Foundry。
「编程与Agent」频道最新
- 智能体监控平台 Judgment 公开发布：自动定位 agent 翻车根因 — testingcatalog · 2026-10-28
- OSU NLP 组同日斩获 EMNLP 三项论文奖与 NeurIPS Workshop 奖 — hhsun1 · 2026-10-28
- Replit 推出 Cloud Agents:非工程师可用自然语言直接给代码库提 PR — Jeff_Burke14 · 2026-10-28
- AI 让 Poker AI 开发缩至一小时,红杉联合 OpenAI 办 10 万美元锦标赛 — polynoamial · 2026-10-28
- PPCC26 demo 全是真实场景可跑代码，Dona Sarkar 点赞三大亮点 — donasarkar · 2026-10-28
- 策展 LLM/Agent 评测任务的五个关键原则：多样、真实、够难、有区分度、高质量 — cwolferesearch · 2026-10-28