开源 sleepy-llm 反向代理:让本地 LLM 服务器按需自动唤醒关机
ac101m · reddit · 2026-10-16
Reddit 用户 ac101m 发布 sleepy-llm,一个放在客户端与推理机之间的反向代理:有请求时自动唤醒本地 LLM 服务器并转发,空闲一段时间后自动关机,节省电力。
- 缓存 /v1/models 端点,避免 OpenWebUI 等频繁轮询导致机器反复唤醒
- 可配置检查登录用户的命令,防止使用中被关机
- 作者称几乎全部由本地模型 vibe-coding 生成,实际运行可靠,已开源接受 PR
「编程与Agent」频道最新
- Reddit 热议:生产环境里的自主 AI Agent 到底在干什么 — hangman_111111 · 2026-10-16
- 免 Docker 的内核级 agent 沙盒:macOS Seatbelt 实践 — mostly_deterministic · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU,让动作更持久可预测 — cramforce · 2026-10-16
- Jev 教程:用 180ms 分类模型替代「PASS/FAIL」字符串匹配做工作流判断 — max_paperclips · 2026-10-16
- 别给 Agent 裸 API Key:预付余额加凭证级限额才是正解 — Cold_Hall_5384 · 2026-10-16
- 六个月预测:通用 agent 框架岗位需求将降温 — yi111 · 2026-10-16