Parallel Prompting 让共享文档多问题推理提速至 6 倍
kalyan_kpl · x · 2026-11-15
一篇新论文提出 Parallel Prompting，解决共享上下文档 LLM 推理的效率问题：把同一文档下的 P 个问题解码为 P 条独立流并行处理，每步只需读取共享文档一次，并用在 attention kernel 内求值的 stream-id 注意力掩码保证各答案只依赖文档与自身问题。
- 实现：在 SGLang 上仅改动三个文件约 80 行代码加一个小引擎包
- 性能：CodeLlama-7B、8k-16k token 文档、每文档 64-256 个问题的设置下，A100 上比原版 SGLang（FlashInfer 后端）快 3.7 倍，RTX A6000 上快 5.9-6.0 倍
- 在两个 SGLang 版本（含最新版）上均验证有效
「Infra」频道最新
- 神经张量分解将 ADMET 预测从 340 年压缩到 10 分钟内 — CatAstro_Piyush · 2026-11-15
- ARK 分析师:AI 下一瓶颈不是电力,而是可复用火箭发射运力 — DMaguireARK · 2026-11-15
- 怀俄明州数据中心收入或将覆盖全州 17 亿美元预算 — panickssery · 2026-11-15
- 开源推理引擎 FreeToken:RTX 5090 本地跑 DeepSeek 284B 达 25 tok/s — aigclink · 2026-11-15
- WSJ：东南亚数据中心为中企提供算力并涉芯片走私通道 — BenBajarin · 2026-11-15
- 微软宕机疑为亚稳态故障,研究者详解恢复反馈环机理 — tianyin_xu · 2026-11-15