Spanda 开源:Rust 实现亚微秒级 LLM 认知不确定性估计
Bhupennayak · hn · 2026-09-12
开发者在 GitHub 上开源了 Spanda，一个用 Rust 编写的工具，可在亚微秒级延迟内估算 LLM 的认知不确定性（epistemic uncertainty），用于在推理时量化模型输出可靠性。项目定位为低开销的推理栈组件，适合对延迟敏感的生产环境接入。
「Infra」频道最新
- DeepSeek v4.1 Flash 发布首日即适配 vLLM,覆盖六款 NVIDIA GPU — woosuk_k · 2026-09-12
- 开源 Plano:两行配置实现按意图自动路由 LLM 省 50% 账单 — Roger_M_Taylor · 2026-09-12
- Netflix 工程师开源 Headroom：代理 Token 用量最高省 95% — Roger_M_Taylor · 2026-09-12
- DSV4.1 把全局 KV 压到 890 字节,HBM 需求争论再起 — teortaxesTex · 2026-09-12
- Polymarket 给 AI 泡沫破裂定价：2026 年底前仅 12% 概率 — Polymarket · 2026-09-12
- SGLang 深度适配 DeepSeek V4.1 Flash，24 小时内冲到 873 tok/s — BanghuaZ · 2026-09-12