上海交大等发布 DLite:免历史上下文推测解码,最高提速 70%

上海交大联合上海创智学院、清华及 Infinigence-AI 发布推测解码方法 DLite,针对 agentic 工作负载下长且持续演化的上下文与多轮交互导致现有草稿模型接受长度衰减(最高可达 80%)的问题,提出免历史上下文的推测解码方案。实验显示,相较现有 SOTA 方法,DLite 最高可将推理速度提升 70%。

2026-10-19 ~ 2026-10-20 · 2 条相关