Techno Tim 自建家用 AI 平台:三块旧 GPU + vLLM + 语义路由统一入口
JeremyCMorgan · x · 2026-11-05
Techno Tim 发布长文/视频,介绍他用现有旧硬件搭建的自托管 AI 平台:一台 Linux 主机装 RTX 3090、3060 和 RTX 2000 Ada,每块卡跑 vLLM,再加语义路由器,让 Copilot、Open WebUI、Home Assistant 等应用只看到一个统一端点。
- 解决的痛点:多 GPU、多模型、多应用场景下,不想每次请求都选机器选模型,也不想换模型就改每个应用。
- 思路:按请求类型路由——小请求走 3060,大模型走 3090,embedding 和语音跑在独立硬件上;客户端只对接一个 OpenAI 兼容端点。
- 文章讲了各组件如何连接与选型理由,并给出无需他的 Ansible 配置和全部硬件也能搭建精简版的方法;作者尚未公布吞吐与功耗数据。
「编程与Agent」频道最新
- LMArena 上线 Agent Arena,可在线体验智能体竞技场 — arena · 2026-11-05
- 4G 显存老笔记本跑 Qwen 27B 编码,每秒不到 1 token 也能干活 — Felix_455-788 · 2026-11-05
- 让 Agent 自动给 Google Calendar 打标签,日程管理自动化 — steren · 2026-11-05
- AI Agent 失控风险上升，安全公司开始专门为 Agent 护航 — pstAsiatech · 2026-11-05
- OpenAI 十月开发者汇总:Decisions API、12小时缓存与 8 倍提速 — OpenAIDevs · 2026-11-05
- Datadog 预告 Canvas：与 AI Agent 协作排查可观测性问题的新界面 — farooqib · 2026-11-05