开源推理引擎 Flide 发布：精确状态分叉加速决策推理最高 9.5 倍
_akhaliq · x · 2026-11-11
作者在 Hugging Face 论文页介绍 Flide，一个从零构建的开源推理引擎，面向 Jev 类决策模型，核心思路是「精确状态分叉」（exact state forking）：让多个问题共享计算，同时保持精确的决策语义。
- 官方测试中推理速度最高达 vLLM 和 SGLang 的 9.5 倍
- 支持 Decision Index 0.4.1 上的 30+ 开源决策模型，后续会继续增加
- 一行命令安装：pip install flide
- 代码、文档与 arXiv 论文（2610.42148）均已公开
所属事件:新加坡国立大学与牛津发布推理引擎 Flide(2 条相关)→
「Infra」频道最新
- 曝黄仁勋绯闻对象涉转售24万颗受限芯片入华，规模超xAI Colossus — connoraxiotes · 2026-11-11
- 前训练研究圈大实话：数据重复与过度训练是常态 — SonglinYang4 · 2026-11-11
- NVDA 两个黑色星期一对比：DeepSeek 冲击跌 17%，这次只跌 4.3% — cfregly · 2026-11-11
- 工程师用 NCCL Broadcast 梗图调侃黄仁勋道歉：所有 rank 都收到 — cfregly · 2026-11-11
- __popc 按位计数图解：31 个置位位胜过 1 个高位 — cfregly · 2026-11-11
- Blackwell 2-CTA MMA：1 线程发指令，2 线程块共同计算 — cfregly · 2026-11-11