SJTU 提出 DLite：无历史推测解码，较 SOTA 提速最高 70%
pmttyji · reddit · 2026-10-20
上海交大团队发布 DLite 论文，解决推测解码在 agentic 工作负载下失效的问题。
- 观察：agent 场景上下文长且持续演化，现有 draft 模型接受长度衰减最高达 80%，维护历史 KV cache 又带来巨大系统开销。
- DLite 无需维护历史上下文，直接复用目标模型的上下文隐状态做局部投机预测，把越来越复杂的建模问题转化为局部简单预测；轻量顺序头以低开销恢复块内因果依赖。
- 配套两阶段训练策略训练这种异构无历史架构。
- 实验显示 DLite 接受长度达 2-6，超越此前 SOTA 的 DSpark 最高 70%。代码与权重已开源。
所属事件:上海交大等发布 DLite：免历史上下文推测解码，最高提速 70%(2 条相关)→
「Infra」频道最新
- 256GB 内存版 Mac Studio 交付要等 15-17 周,一机难求 — LinusEkenstam · 2026-10-20
- Google 开源 TorchTPU:PyTorch 工作负载几乎不改代码上 TPU — rseroter · 2026-10-20
- Simular 神经符号混合架构让 computer-use agent 成本降 217 倍 — xwang_lk · 2026-10-20
- 前谷歌员工访谈：真正的瓶颈是数据中心和电力，而非 GPU 产能 — RihardJarc · 2026-10-20
- a16z 携手 fal、ElevenLabs 等办 AI Infra Day 深聊算力基建 — venturetwins · 2026-10-20
- 视频生成研究跑通 AMD MI350X,多项 PR 已并入 PyTorch nightly — vincesitzmann · 2026-10-20