4 台 DGX Spark 集群跑 GLM-4.6-Flash:1M 上下文 16 并发的本地部署配方
AIFlow_ML · x · 2026-10-25
开发者 tenhkspark 公开了用 4 台 DGX Spark(GB10,各 128GB 统一内存)搭建全本地推理集群的完整配方(cluster-recipe,GitHub,MIT 协议)。
- 核心配置:运行 GLM 系列模型,1M 上下文、16 路并发;官方推荐装法达不到这个上下文和并发数,作者因此更换了推理加载器,修改部分经代码审计确认安全。
- 集群四个座位:两个大推理座位、一个快速工作座位、一个文档/检索座位,全部使用 NVIDIA 开源模型,每个组件都在实机上冒烟测试过。
- 附带官方未适配 GB10 的 Nemotron Parse 文档图像轻量模型的自建方法,并记录了踩坑点与实测数据。
- 仓库含 perf-test、burst-test 等实测脚本,支持英/中/日/韩多语言 README。
「编程与Agent」频道最新
- 10 个让 AI Agent 接入整个互联网的开源 GitHub 仓库清单 — victor_explore · 2026-10-25
- 单张 AMD MI325X 跑 DeepSeek 552B：四 agent 同时 100 tok/s — realmrfakename · 2026-10-25
- Futarchy MCP Server 上线：用 Cursor 聊天管理 Solana DAO 提案 — modelcontextprotocol · 2026-10-25
- 博主开源 11 个日常在用的 Claude Skills,一次上传自动触发 — rubenhassid · 2026-10-25
- anon.li 推出聊天内隐私工具：对话里直接管理邮件别名与加密分享 — modelcontextprotocol · 2026-10-25
- 手机+语音+Claude Docs+Opus 5.5：边洗碗边写作的工作流 — Flomerboy · 2026-10-25