Reddit 用户设计四层本地 AI 机房：vLLM 到 OPNsense 全分层
povedaaqui · reddit · 2026-07-21
这条 Reddit 帖子在征求意见，核心是一个**四层本地 AI homelab 架构**，主打严格分层与职责隔离： - **推理层**：vLLM、llama.cpp、Whisper STT，以及用于 OCR/视觉的 VLM。 - **工具层**：Hermes Agent 编排、LiteLLM 路由、Playwright、SearXNG、Crawl4AI、pandoc、yt-dlp，尽量做到“一容器一工具”。 - **存储层**：裸机 TrueNAS + ZFS mirror + NFS，配合 PostgreSQL + pgvector、Git、SOPS + Age 管理配置和密钥。 - **网络层**：独立的 OPNsense 防火墙盒子、Ubiquiti/MikroTik 交换机、WireGuard、Caddy + Authelia、AdGuard Home。 作者的设计原则包括：**尽量开源、零固定订阅、支持 ARM64、推理机不放数据库和代理**，并采用“本地优先、云端溢出”的路由方式，把请求在本地模型与 OpenRouter/fal.ai 之间切换。
「编程与Agent」频道最新
- 小公司发现一名开发者的 Codex 用量正在吃掉共享额度 — Distinct_Relation_62 · 2026-07-21
- Qwen Code 发布 cua-driver-rs 0.7.3，支持相对坐标与 MCP 过滤 — github-actions[bot] · 2026-07-21
- Matt Pocock：新代码库往往几天内就会变成旧系统 — mattpocockuk · 2026-07-21
- Meta 联手 Unity，把 AI 工作流接到 Quest 开发全流程 — Vjeux · 2026-07-21
- AI Engineer 世界博览会 Kids Day 吸引 87 名孩子学编程 — steveonjava · 2026-07-21
- Looking Glass 让编程会话可持久化并自动续写下一轮 — teleport66 · 2026-07-21