单机部署双模型智能体：大小模型协同与本地化配置指南
Twaain · reddit · 2026-07-31
作者详细分享了在单台机器上本地部署自主智能体的基础设施搭建经验。为了自动化无 API 平台的重复性电脑操作，项目采用了 DGX Spark (128GB 统一内存) 和外接 NAS 存储。
核心工程实践包括：
- 独立存储网络：通过直连线缆为计算节点和存储节点建立私有子网，避免与办公网络流量争抢，实测延迟降至 0.6 ms，持续写入速度达 449 MB/s。
- 双层模型架构：指出智能体最高频的操作是“检查”而非“推理”。因此采用静态路由分配双层模型：大模型（gpt-oss:120b）负责工具调用与规划，小模型（gemma4:26b）负责每次交接时的校验与反思。
- 内存常驻：通过 systemd 配置将两个模型同时锁定在内存中，避免小模型在热路径上因冷加载产生延迟（长达 88 秒）。
- 边界验证机制：强调生产环境下的智能体最怕“报喜不报忧”。必须在信任边界、外部交互等关键节点设置校验，防止会话失效等导致智能体输出无效数据。
「编程与Agent」频道最新
- TS名师探讨AI编程：战术编程已死，个人软件时代到来 — mattpocockuk · 2026-07-31
- 观点：无监督 AI 才是产品质变的关键，需人工干预的模型体验大打折扣 — robleclerc · 2026-07-31
- 开源项目UML：让Claude和ChatGPT共享记忆，构建可视化知识图谱 — Far_Pangolin_7657 · 2026-07-31
- 四大 AI Agent 观测平台横评：Logfire 凭借 SQL 原生查询夺冠 — samuelcolvin · 2026-07-31
- 实测 Opus 5 编写 ThreeJS 应用：实现连续缩放十的九次方 — omarsar0 · 2026-07-31
- 开发者分享Codex Micro工作流：健身间隙监控AI代理 — rudrank · 2026-07-31