单 GPU 开发者自建桌面 API 网关：统一 OpenAI/Anthropic 兼容接口

rootshelldev · reddit · 2026-10-07

一位家用单 GPU 的开发者分享了自建的 Rust + Tauri + Leptos 桌面 API 网关，解决多模型、多引擎 API 碎片化问题，同时兼容只支持 Anthropic/OpenAI 官方 API 的客户端。

核心功能：

• 支持 Text、Embeddings、Audio、Image API，可路由到云端或 llama.cpp / audio.cpp / stable-diffusion.cpp 容器；
• 后端容器直接从 git 构建（含 MR/PR），按模型一容器、感知 VRAM 的调度与回退；
• 别名机制支持模型链：按需重载更大上下文、超长上下文自动转云端、小上下文高量化→大上下文低量化分级；
• 托盘触发的「GPU hold」模式，卸载模型为游戏让路并可配置回退路由；
• /v1/realtime WebSocket 语音管线：VAD→ASR→LLM→TTS，每步可选本地或云端模型，支持 barge-in 与会话管理；
• MCP 网关：MCP server 跑在 podman 容器里，按 token 作用域暴露；内置管理 MCP，编码 agent 可代为配置；类 context7 的文档 MCP，可抓取缺失库的文档并嵌入向量库；
• 详细指标、流量监控、预算与价格对比，外加自带测试聊天界面。

原文链接 →

「编程与Agent」频道最新

• 一个 prompt 生成 5.5 万行代码游戏:Matt Shumer 公开 Gauntlet Loop 方法 — letandrewcook · 2026-10-07
• 开发者用 Opus 5.5 复刻七款 Adobe 应用,Rust 写成全开源免费 — kimmonismus · 2026-10-07
• 在 AGENTS.md 写入 t_wada 原则，代码注释噪音大幅减少 — 4310sy · 2026-10-07
• 一人项目 openTPU:用 AI Agent 设计出开源加速器,FPGA 上跑通多个 LLM — ai · 2026-10-07
• Agent 工作流会过时,训练轨迹的日志才是复利资产 — natesiggard · 2026-10-07
• 「修到任务能跑通为止」：开发者的 Codex 万能提示词走红 — jdjohnson · 2026-10-07

更多「编程与Agent」频道 AI 资讯 →