单卡 RTX 5090 跑 27B 本地 Agent，开源全栈部署方案
max_paperclips · x · 2026-08-05
开发者 witcheer 发布了第四期 Hermes Recipes，详细介绍了如何在单张消费级 GPU（如 RTX 5090 32GB）上 24/7 完全本地化部署一个 27B 参数的 AI Agent。
该方案已在 Ubuntu 服务器上稳定运行，核心组件包括：
- 系统服务：通过 systemd 实现模型推理服务和 Agent 网关的开机自启与常驻。
- 身份与记忆层：使用 Markdown 模板（SOUL/USER/MEMORY）引导模型行为，记忆库支持 CPU 端的语义搜索。
- 技能包：包含每日简报生成和本地无头渲染功能。
- 资源调度：提供 drain/restore 脚本模式，允许临时借用 GPU 算力进行模型训练或测试，并在任务结束后安全恢复 Agent 运行。
- 安全策略：采用长轮询机制实现零入站端口暴露，并配置了严格的平台白名单与 sudoers 权限。
「编程与Agent」频道最新
- Vercel 推 DeepSeek V4 Flash 限时一折，智商比肩 Opus 4 — cramforce · 2026-08-05
- AI 编码瓶颈不在模型，而在测试与 CI 流水线 — hichaelmart · 2026-08-05
- 开发者实测：OMP 编码智能体一键修复本地大模型推理卡顿 — Sentdex · 2026-08-05
- 开发者推开源具身智能操作系统，采用 MIT 协议 — mimi10v3 · 2026-08-05
- 开发者观察：主流大模型近期集体爱上“冒烟测试” — TokenRingAI · 2026-08-05
- OpenAI 澄清 Realtime API 防火墙配置：打通 SIP 与 RTP 流量 — juberti · 2026-08-05