LlamaIndex 将文档解析模型 OCRia-1 在单张 B200 上提速 10 倍至 2800 tok/s
llama_index · x · 2026-11-04
LlamaIndex 团队宣布将文档解析模型 OCRia-1（4B，SOTA）在单张 B200 上的生成速度从 285 tok/s 提升到 2800 tok/s，提速近 10 倍，并发布了极其详细的工程博客。
关键做法：
- 采用 workload-aware 量化与投机解码（dflash2），同时降低显存占用和提高每秒 token 数
- 另有 17 项小优化：replaySSM、kernel fusion、vLLM 改动等——许多单项仅提升 2–5%，但累积起来效果显著
- 每项改动都同时验证速度与精度，针对文档解析负载定制
- 部分优化计划回馈开源 vLLM 项目
文章还解释了为何解码阶段主导延迟、如何让投机验证更便宜等。这些经验对所有做推理优化的人都很有参考价值，LlamaParse 的整体延迟也在持续下降。
所属事件:LlamaIndex 叠加 17 项优化，OCRia-1 单卡提速近 10 倍(2 条相关)→
「Infra」频道最新
- UC Berkeley 等发布 SpecPilot:自动为投机解码找最优算法 — UCBerkeley · 2026-11-04
- AMD 高管亮相 Fireworks AI Forge 活动,谈多年战略合作 — AnushElangovan · 2026-11-04
- 微软详解 Outlook 搜索改造：相关性排序扩至 7 条+弱网韧性 — benjamingauthey · 2026-11-04
- AMD 高管携 192GB 内存的 Strix Halo 工作站当面致敬 dhh — AnushElangovan · 2026-11-04
- 从 CPU 到 GPU 到推理服务：一个故事讲透 LLM 推理基础设施全链路 — _jaydeepkarale · 2026-11-04
- 4 张 RTX 3090 组出 FrankenSTEAM 主机，实测跑 Qwen 大模型 — Civil_Fee_7862 · 2026-11-04