决策模型推理快 9.5 倍：Flide 单次前向精确分叉，概率不漂移

Flide: Accelerating Decision Inference with Exact State Forking

Bobo Li, Jiajia Song, Hao Fei, Wynne Hsu, Mong Li Lee

cs.CL

2026-10-31

把决策请求的共享上下文与所有问题压进一条 token 流、精确分叉递归状态，Flide 比 vLLM/SGLang 快至多 9.5 倍，答案最贴近 float32 参考。

这篇在解决什么

Jev 这类决策模型(decision model)是 LLM agent 栈里的新角色：读一长段上下文，对若干问题各输出一份离散选项的概率分布，用于请求路由、回答评估、agent 选动作。它跑在每个请求、每一步上，下游常拿 0.5 这类阈值直接卡概率，对引擎的要求是既快又数值准。

现有引擎为文本生成设计，工作单元是一条线性序列。vLLM 和 SGLang 把每个问题当独立 prompt,共享上下文被反复渲染调度；前缀缓存(prefix cache,复用共享前缀的 KV 表示)也救不回来，hybrid 架构下它只能按块边界恢复递归状态，边界之后的 token 每个问题都要重算。SGLang 的 multi-item scoring 把所有问题拼进一条序列、以分隔符隔开，分隔符进入每个问题的输入，悄悄改掉输出概率，最多翻转 29% 的判定；动态批处理还会改变浮点求和顺序，同一请求在不同负载下给出不同答案。

根子是错配：决策请求逻辑上是树(共享主干加问题分支)，物理上却被塞进线性序列执行。

方法

Flide(Flat-Graph Inference for Decision Models)把逻辑树与物理执行拆开。

一条平铺流加 GPU 元数据。一轮请求的所有主干和分支拼成一条无 padding 的连续 token 流，每个 token 挂请求号、分支号(0 是主干)、位置三个索引。树是逻辑，流只是摆法。
ForkAttention。注意力层用可见性规则分叉：每个问题只看本请求的主干和自己，看不见兄弟分支，即投机解码里的 tree attention。难点在 Gated DeltaNet:它把此前所有 token 压进一个固定大小的矩阵状态，hybrid 模型多数层都是它，mask 分不开。Flide 让每层跑两次调用，先算全部主干得到各自状态，再一并算所有问题，每个分支经索引从自己主干的状态精确续算，不拷贝、不加 token。Proposition 1 证明：精确算术下，每个分支与孤立前向完全一致，与同轮还有谁无关。
Flat-graph 执行。CUDA graph(把一串 kernel 启动录成图重放)要求形状固定，每轮的树却在变。Flide 把段长、位置、key 区间、状态索引全放进 device buffer,kernel 形状只依赖流总长，一组按容量分桶的预录图即可伺候任意混流；输出头只读每个问题的末 token,最后一层其余行全部跳过。
增量分叉与可选逐位模式。agent 历史逐步变长，Flide 在状态尾部内侧存检查点(各层 float32 递归状态、卷积窗口、注意力 KV),下一步只算新增 token 和短尾巴，每千 token 历史约多 1 毫秒。可选模式固定浮点归约顺序，任何负载下答案逐位一致；vLLM 的同类模式跑不了 Gated DeltaNet 层，SGLang 的 batch-invariant kernel 在 Qwen3-8B 上慢 34%。

结果

单张 H200、bfloat16,模型覆盖 Qwen3.5 0.8B–27B(hybrid)、Gemma 4 E2B–31B、Open-Jev 2B/9B,负载来自 RACE、QuALITY、MultiRC 与 Decision Index。

对照	设置	结果
vLLM / SGLang	多问题共享一个状态	延迟快至 9.5 倍，吞吐高至 8.5 倍
vLLM / SGLang	单问题、单请求	最小模型延迟降 3.2 倍
vLLM 前缀缓存	Gemma 4 全注意力、多问题	延迟降 1.1–2.9 倍
vllm-jev + RadixFlow	Open-Jev 决策模型	短输入约 3 倍，长输入至多 1.7 倍
SGLang MIS	阈值 0.5 下判定翻转	MIS 至多 29%,Flide 至多 2.3%

保真度上，Flide 的 top 答案与 float32 参考的一致率在所有负载、所有尺寸上最高(RACE 平均 99.8%,vLLM 99.5%,SGLang 99.2%),准确率与 vLLM 差距不超过 1.2 个点；客户端从 1 加到 64,Flide 答案变化至多 0.2%,vLLM 到 3.2%。一个约 2 千 token 的状态挂 64 个问题时，比 vLLM 快 12.7 倍；重放 SWE-agent 轨迹，每秒步数是最强基线的 4.4–7.2 倍。消融里，去掉状态分叉，QuALITY 多问题延迟从 48.9 毫秒涨到 1868.5 毫秒；去掉 CUDA graph,短请求延迟从 8.8 涨到 76.1 毫秒。

为什么重要

这是服务系统工作，不是建模工作，价值在于让「快」和「准」不再是二选一。凡拿 LLM 做分类打分的场景(路由、judge、agent 的 System One 策略)，只要共享上下文挂多个问题、或上下文随步数增长，收益就是数量级的；对 hybrid 架构，精确分叉补上了前缀缓存够不到递归状态的空档。MIS 翻转 29% 判定这个数字，对所有用拼接技巧省算力的人是个提醒：省下的是算力，动到的是概率。代码已开源。

边界也清楚：单问题高并发下只打平最强基线；收益随每状态问题数与历史复用度增长，纯生成负载不在射程内。

局限与存疑

作者自述：Proposition 1 限于精确算术，浮点差异停在舍入量级，逐位模式能兜底但开销未单独报告；流尾部 padding 仍被稠密层计算；超过最大图容量的轮次拆成多次重放，单个超长请求退回无图执行。读下来另有存疑：MIS 按其配置关了 CUDA graph,吞吐对比中该基线不在最优形态；实验全部在单卡 H200 上，多卡扩展未验证，结论绑定所测引擎版本；决策模型生态还很新，这套引擎的现实影响取决于该范式能否铺开。

术语

决策模型(decision model):读长上下文、对多问题输出离散选项概率分布的模型，Jev 是代表，用于路由、判分、agent 决策。
System One:借自双过程理论，指快而轻的直觉式判断，与生成式的慢思考相对。
Gated DeltaNet:递归型线性注意力层，把此前所有 token 压进一个固定大小的矩阵状态。
前缀缓存(prefix cache):服务端缓存共享前缀的 KV 表示，后续请求复用、免于重算。
CUDA graph:把一串 GPU kernel 启动录成图重放，消除逐个启动的开销，代价是形状固定。

原文与代码

社区讨论

开源推理引擎 Flide 发布：精确状态分叉加速决策推理最高 9.5 倍 _akhaliq