本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型
legislat · reddit · 2026-11-11
作者发布 SimpleHarn，一个本地模型路由/切换工具，Windows 托盘应用 + Linux 无头守护进程，对外提供 OpenAI 兼容 API。
核心机制
- 通过 NVML（回退 nvidia-smi）读取实时显存，每次加载模型前对照显卡自报的预算校验，装不下就拒绝加载，并在 API 响应、控制页和日志里写明阻塞模型与实际显存数字，绝不强行塞满 GPU。
- 按四个分类端点暴露 OpenAI 风格接口：WORK(8708，最高优先级)、RP(8709)、AUX(8710，多槽位)、EMB(8711，最低)。
- 驱逐遵循固定确定性矩阵：WORK 永不被驱逐且只能驱逐 RP；WORK 与 RP 可驱逐 AUX/EMB；缺口可由多组驱逐覆盖时选最省的组合。所有加载/卸载经单一调度器串行化，避免客户端、托盘与 API 竞争。
其他
- 引擎默认 llama.cpp 的 llama-server，另接 Strata、Basalt、Maya、NInfer、Xolotl。
- 本地优先：API 默认绑定 127.0.0.1，非回环绑定且无 token 会在启动时被拒，需设 SIMPLEHARNTOKEN。
- Apache-2.0，Windows 10/11 与 Linux，单张 NVIDIA GPU、单用户。作者坦言项目几乎全由编码 agent 夜间实现，自己负责设计与架构，仓库 AGENTS.md 记录工作流。
- 作者征集测试者，尤其需要 8–16 GB 显卡用户测试紧预算下的拒绝行为，以及 Linux 用户反馈新移植版。
「编程与Agent」频道最新
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12
- 同一提示词实测:Claude、ChatGPT、Figma Make 各生成 UI — Tegadesigns · 2026-11-12
- DeepLearning.AI 与 Prior Labs 推表格基础模型免费短课 — DeepLearningAI · 2026-11-12