HybridInfer:本地模型优先推理,卡死自动回退云端的开源路由
simrankoulsm · reddit · 2026-09-02
开发者发布了开源(Apache-2.0)的可靠性感知推理路由 HybridInfer,解决本地跑模型时长 prompt 静默卡死、GPU OOM 导致请求挂起的问题:
- 每个请求先发给本地模型(Ollama);运行时监控若 N 秒无 token、OOM 或报错,在同一请求内自动回退到远端模型。
- 会学习哪些 prompt(通常是长 prompt)会让本机卡死,之后预先直接路由到云端。
- 把卡死的模型移出轮换,冷却后探测恢复。
实现为 OpenAI 兼容服务器,任何 OpenAI 兼容客户端接入即得「本地优先 + 自动回退」;远端可以是 OpenAI、OpenRouter 或 vLLM 等。它只做编排,不跑权重。另有 Kotlin/Android 版本供端侧应用使用。
安装使用:
pip install hybridinfer
hybridinfer init
hybridinfer serve
目前为早期 v0.1,作者征求日常跑本地模型的人对回退启发式的反馈。
所属事件:开源HybridInfer：本地模型卡顿自动切换云端(2 条相关)→
「编程与Agent」频道最新
- 开发者用 AI 解读 1883 年装饰设计经典，复现 Bourgoin 装饰结构网络 — debreuil · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万，Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版：AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源：默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent：抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18