自建本地推理服务器后如何给团队开放权限?Tailscale+LiteLLM 方案求证
Anarchaotic · reddit · 2026-11-10
一位开发者为公司搭建了 Radiance 推理服务器,询问如何向团队分发的最佳实践。他目前的方案:
- 用 Tailscale 作为唯一的 HTTPS 访问入口;
- 用 LiteLLM 配置每用户独立 key,带速率限制与用量日志;
- 用 Hermes 作为 harness,每用户独立容器并限制权限,但共享中央 skills 仓库。
他最大的疑问是如何让 harness 跨团队顺畅工作,避免为 Google 等服务逐个申请 API token 的麻烦,并希望了解其他人的成熟做法。
「编程与Agent」频道最新
- 开发者用 Rex 在 macOS 原生管理 25-30 个并行 agent 会话 — jonathan_wilke · 2026-11-10
- Pi Dash 用 Muse Ember 十智能体协作,一天重写 17.8 万行生产代码 — AIatMeta · 2026-11-10
- 单个提示词生成体素破坏引擎,MacBook 上流畅运行 — mattshumer_ · 2026-11-10
- 微软 Foundry 的 azd 扩展正式 GA:Agent 配置随代码入库 — WirelessLife · 2026-11-10
- 微软 BoxBox:长跑 Agent 运行中热更新自身 harness,提速 1.70 倍 — dair_ai · 2026-11-10
- Arduino 发布开源 RouterBridge_ROS:单片机上实时 I/O 直连 ROS 2 — kscottz · 2026-11-10