Spanda:Rust 引擎把幻觉检测延迟压到 760 纳秒,零 GPU
liquidngas · hn · 2026-09-12
开发者开源了 Spanda,一个用 Rust 编写的亚微秒级 LLM 认知不确定性量化与幻觉拦截引擎及网关,附 Python SDK(pip install spnda)。
核心思路
- Semantic Entropy(Nature 2024)检测幻觉有效,但其二次方 NLI 交叉编码器是瓶颈:DeBERTa 带来约 90ms GPU 开销,无法用于实时生产环境。
- 作者发现归一化精确匹配熵(Rsc)在结构化推理任务(GSM8K)上达到与 Semantic Entropy 相同的判别 AUROC,且可在 CPU 上于 1 微秒内完成(实测 760 纳秒)。
与 Python 代理实现对比
- 核延迟:760 ns(Rust)vs 15 ms(Python)
- 内存 RSS:约 3 MB vs 230 MB
- 冷启动:3.6 ms vs 1.17 s
作者在 HN 上开放关于 Rust 实现、零 GPU 数学原理和基准结果的讨论。
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28