NVIDIA 低调开源本地推理服务器 Flare，为 Blackwell 工作站打造
AIFlow_ML · x · 2026-10-21
NVIDIA 未做任何宣传地开源了本地推理服务器 Flare（Apache 2.0，GitHub 目前仅 22 star）。它面向 SM120/SM121 GPU（RTX PRO 6000 Blackwell 工作站与 DGX Spark），专为长对话、编码 agent 和频繁工具调用场景设计，让工作站内存与带宽更耐用：
- 构建期使用 PyTorch + FlashInfer，服务期用 Rust 运行时，无 Python；
- 服务前预捕获 CUDA graphs，默认 FP8 KV cache；
- 提供 Qwen Flash、GLM、DeepSeek 的配方。
构建时编译、服务时零 Python 依赖的设计值得本地部署玩家关注。
「Infra」频道最新
- TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- Modal 团队用自研 Sticky Sessions 复活经典网页游戏 Curvytron — charles_irl · 2026-10-21
- Seroter 每日阅读：TorchTPU 开源、Claude Code 团队的代码评审实践 — rseroter · 2026-10-21
- 数据中心债务被重打包卖给养老金，被指神似次贷泡沫 — SumitGup · 2026-10-21
- DeepInfer 缺 KV 缓存与负载均衡，但有 3-4K 台 GB200 就能复现吞吐 — teortaxesTex · 2026-10-21
- Isoquant 推理优化基准：Gemini 4 Argon 以 4.38 倍加速登顶 — ycombinator · 2026-10-21