9 台机器全本地 AI homelab:5 个 agent 共享一台 3090 双卡推理机
StandardLovers · reddit · 2026-11-23
一位 Reddit 用户晒出 2026 年 11 月状态的家用 AI 集群,核心配置:
- 9 台设备:主力机(ComfyUI + RAG + 备用推理)、双 RTX 3090 推理机(48GB VRAM,NCCL 双卡 llama.cpp)、树莓派边缘节点、rooted 安卓手机当 NPU 拍照节点等。
- AI 层:5 个 agent(个人助理×2、IDE 编码、CLI 编码、家人助理)统一由一台 llama-server 供 Qwen 27B Q8、256k 上下文、约 2000 tok/s prefill。
- 一个内核模块通过固件补丁解锁 3090 的 FP16/BF16 FMA 发射率,长上下文 +10%。
- Tailscale 全设备组网、默认拒绝防火墙、3-2-1 备份、约 12 个 cron 自动化任务(夜间巡检、晨报、安全告警)。
作者称目前一切稳定,处于「it just works」阶段,征求新点子。
「编程与Agent」频道最新
- 形式化 CFSG 规模超怀尔斯证明 3 倍,Lean 成 AI 数学化瓶颈 — Vjeux · 2026-11-23
- 开发者吐槽 Codex 频繁要批准清理 worktree:「权限是自主的天敌」 — Baconbrix · 2026-11-23
- AI Agent 不该持有密钥:用身份与 SVID 委托机制取代 secrets 分发 — bibryam · 2026-11-23
- Apple 开发者每日 token 预算从 300 美元砍到 100 美元 — Zachly · 2026-11-23
- 微调 Gemma 4 E4B 单卡驱动 100 个村民:全离线谣言模拟游戏 — AlternativeEnough352 · 2026-11-23
- 轻量脚本让 Claude、Codex 等 CLI agent 互相辩论并输出共识 — reddit_kwr · 2026-11-23