Flide 推理引擎:决策模型 agent 提速 9.5 倍且保持精确

NationalUniversityofSingapore · hf · 2026-11-10

新加坡国立大学与牛津团队发布 Flide,一个面向决策模型(decision models)LLM agent 的精确推理引擎。现有生成式推理引擎对这类负载要么前缀重算开销大,要么输出概率失真。Flide 将决策请求的逻辑树与物理执行解耦,通过 ForkAttention 用 GPU 常驻索引在标准注意力与 Gated DeltaNet 循环层上导航请求依赖,以精确算术保证每个查询分支与独立前向传播结果完全一致;还支持从早前 checkpoint 恢复 agent 历史。评测显示查询速度最高比 vLLM 和 SGLang 快 9.5 倍,且在总变差距离上最接近 float32 参考值。代码已开源。