为了跑 AI 拼了：极客自述在家攒 1TB 内存，晒出三机分层推理架构

gnukeith · x · 2026-10-31

极客 gnukeith 宣布 1 月将继续购入硬件，目标是让家里的内存总量达到 1TB，并配图展示了自己的本地 AI 基础设施设计。架构分为三台机器：Box A（192GB）跑推理 API、调度器和模型前半层；Box B（128GB）跑模型后半层与 guard 服务，两机经 E810 网卡互联；Box C（64GB）作为 agent 机，内含可信的控制 VM（策略、内存存储、会话日志）和 3 个仅供工具执行、可从快照重置的不可信 Agent VM。整体按可信控制/不可信执行/推理三域隔离，是一种安全隔离的本地大内存自托管方案。