双 RTX 3090 本地跑 256k 上下文模型,实战数月后求升级建议
knighty1981 · reddit · 2026-10-03
作者分享自己的本地 LLM 服务器配置：Supermicro SYS-4029GP-TRT 机箱（PCIe 3.0，可装 8 卡）、双 Xeon Gold 6230R、230GB 内存、2×RTX 3090 24GB，运行 huihui-27b 与 qwen3.8-27b 的 256k 上下文版本，通过 opencode 远程使用。
实际用途相当丰富：
- 给另一台服务器搭了路线规划 Web 服务
- 大量操作 Home Assistant 智能家居
- 设计基于 FreePBX + Whisper 的 VoIP 客服系统（待硬件到位）
- 从数千份 Excel 配送单/发票中提取信息做汇总与趋势分析
- 竞品调研、以及连续 3 天自动配置 NAS 上的 prowlarr/radarr/sonarr/qbittorrent + VPN（作者此前自己尝试失败）
踩坑经验：256k 上下文需多次压缩，agent 常用错 SSH 命令、改错设置需人工回退；作者反思应预先拆分小任务并让它先做规划。作者认为超过 256k 上下文会加剧幻觉和死循环。
升级疑问：再加 2 张 3090 拆分模型跑得更快，还是各卡跑不同模型组「AI 议会」？更大模型提升有多大？PCIe 3.0 会不会拖累多卡张量并行的性能？
「编程与Agent」频道最新
- 开发者手机遥控地下室服务器,1 个 agent 指挥 150 个 Opus 子代理 — haydendevs · 2026-10-03
- Gmail MCP Server 开源:让 AI 客户端安全管理邮箱 — modelcontextprotocol · 2026-10-03
- 书籍转换工具作者实测:顶级视觉模型找不出网页转换瑕疵 — burkov · 2026-10-03
- 开发者实测:Argon 几乎够用,切 Opus 5.5 反而想念前者 — m2saxon · 2026-10-03
- 动画二维码做空气间隙传输:隔屏传文件无需网络 — Thionne_WTZ · 2026-10-03
- 开发者称 Rust 不再是 Agent 开发首选:编译太慢是瓶颈 — zack_overflow · 2026-10-03