OpenFaaS 买 4 台 DGX Spark 搭本地推理,为气隙合规与红队测试
natesiggard · x · 2026-10-19
OpenFaaS 创始人 Alex Ellis 撰文详述团队为何购入 4 台 DGX Spark 用于本地 AI 部署。
核心动机:隐私与合规,而非成本
- 云端模型的每个 token 都发给云厂商,很多厂商会留存输入输出用于训练,即使能退出也可能保留 30 天,被标记违反 ToS 的对话可能无限期留存甚至封号
- 本地部署让团队能服务气隙(air-gapped)环境的受监管客户,并能自由对自家产品做红队测试,不必担心触发安全审查或封号
经验与选型心得
- 此前用过 RTX 6000 Pro 跑 Qwen 27B:小稠密模型像「攻击犬」,专注但需仔细照料;DeepSeek、GLM 等大模型能在更大上下文里无监督探索问题,速度更慢
- 最初两台 DGX Spark 用 Connect-X 高速线缆互联,后续追加两台虽然采购痛苦且难论证,但换来了任何单张消费级 GPU 都装不下的内存容量
- 作者强调全文非 AI 代笔,并指出本地 AI 的价值「完全不在每 token 成本上」
「Infra」频道最新
- 四套免费 CUDA 学习资源：从 NVIDIA 官方课到牛津大学讲义 — techNmak · 2026-10-19
- 巴克莱：纯数据中心债券利差升至约209bp，市场开始计入传染风险 — SumitGup · 2026-10-19
- GPU 开发者称需打造轻量可解释性推理引擎，称移植数值差异难解 — brandon_xyzw · 2026-10-19
- llama-doctor:读 llama.cpp 指标并按严重度诊断问题的 CLI 工具 — msalsas · 2026-10-19
- 阿拉斯加水下 AI 数据中心申请待审，仅存约 330 头白鲸栖息地恐受扰 — anselm · 2026-10-19
- DeepSeek v4.1 推理价格战开打，DeepInfra 五一折甩卖被疑不赚钱 — gharik · 2026-10-19