1100 行代码实现本地 LLM 轻量级代理与限流工具
Yulya_N8FAD85042 · reddit · 2026-07-30
开发者在 GitHub 上开源了一个轻量级的本地大模型代理工具 smol-llm-proxy。该工具专为自建 llama-server 共享场景设计，核心功能是提供基于用户的 API 密钥管理、Token 用量统计以及速率限制（RPM/TPM）。
项目特点：
- 极致轻量：仅使用 SQLite，无需 Postgres 或 Redis 等额外服务，整体代码量被 CI 严格控制在 1100 行左右。
- 低开销：代理逻辑单次请求仅耗时约 0.13 毫秒，内存占用约 53 MB。
- 功能聚焦：支持按模型路由、别名配置、流式与非流式输出，且不存储对话内容。作者表示大部分代码借助本地 Qwen 模型与 opencode 编写。
「编程与Agent」频道最新
- Deep Agents v0.7 发布：默认上下文缩减 65% — hwchase17 · 2026-07-30
- 开发者用 Claude 打造纯代码生成的 3D RPG 游戏 — chrisfirst · 2026-07-30
- jasonkneen 推出浏览器交互智能体，支持 3D 虚拟形象 — jasonkneen · 2026-07-30
- 为 Hermes Desktop 开发开源便签插件，轻松管理碎片灵感 — Teknium · 2026-07-30
- Agensis 发布：人类与 AI 智能体的共享工作空间 — jasonkneen · 2026-07-30
- Machinen Desktop：为 AI Agent 打造的空间化终端桌面 — kieranklaassen · 2026-07-30