Hydra 按置信度把本地任务路由给最便宜的模型
jhaankit373 · reddit · 2026-07-28
作者做了一个本地优先的路由器 Hydra：它会扫描你机器上已经在跑的模型服务，比如 Ollama、LM Studio、本地 API server，然后把每个任务分配给满足置信度阈值且最便宜的那个模型。
它的特点是尽量把流量留在本机，不依赖外部网络来做路由决策，并且用本地 Qwen 作为兜底，避免因限额或失败直接硬断。作者还提到两个比较有意思的设计：
- 用 SPRT 顺序检验，在置信度达标后就停止继续探测更贵的模型；
- 对“危险文件”提高置信门槛，判断依据是一个借鉴自渗流理论的依赖图指标，因为这些文件一旦改错，牵连面更大。
项目是 MIT 许可、单个 Go 二进制，作者也在公开征求意见：用“正确性置信度”来路由任务到底是不是最佳方案。
「编程与Agent」频道最新
- VerifiMind PEAS 推出 13 工具的多智能体验证栈 — modelcontextprotocol · 2026-07-28
- Directus MCP Server 让 Directus 变成可供 AI 操作的后端 — modelcontextprotocol · 2026-07-28
- Supastarter 团队把 agents 和移动端任务重新梳理 — jonathan_wilke · 2026-07-28
- 一种适合 Codex 的逆向工作流：把二进制拆成可解谜题 — yacineMTB · 2026-07-28
- 一位 Claude Code 用户用 24 个命令搭起全流程内容管线 — socialwithaayan · 2026-07-28
- Blender MCP 流水线把一张参考图做成可摆姿态机甲 — RealJamesOfficial · 2026-07-28