DLite：免历史上下文投机解码，破解 Agent 长上下文接受长度衰减 80% 难题
SJTU · hf · 2026-10-19
上海交大、上海创智学院、清华与 Infinigence-AI 的 DLite 针对 agentic 负载下的投机解码问题：长且持续演化的上下文与多轮交互使现有草稿模型接受长度衰减最多 80%，而维护历史 KV cache 又带来显著系统开销。DLite 是免历史的投机解码框架，直接复用目标模型的上下文隐藏状态做局部投机预测，无需显式维护历史，提升接受长度并降低开销。
「Infra」频道最新
- 华为发布 Atlas 960E 超节点：NPO 光互联连接 4096 颗 NPU — bookwormengr · 2026-10-19
- OCP 与会者热议 CPO/NPO 光源路线：外置 CW 激光器还是微 VCSEL — bookwormengr · 2026-10-19
- 机器人「大脑」推理成本三个月暴跌 84%，硬件成唯一大头 — victor_explore · 2026-10-19
- 实测打脸：语义缓存用 cross encoder 反而不如直接调高 cosine 阈值 — Reasonable_Royal_621 · 2026-10-19
- SonicBoom v0.0.3 发布：编译器优先推理运行时解码超 llama.cpp 1.18 倍 — nalaginrut · 2026-10-19
- 传 M5 Ultra Mac Studio 将配 512GB 内存，6 台串联可本地跑万亿参数模型 — SumitGup · 2026-10-19