LlamaIndex 为 OpenDocRouter 加推测解码，OCR 推理最高提速 3.5 倍
llama_index · x · 2026-10-20
LlamaIndex 宣布为其文档解析统一 API 平台 OpenDocRouter 上的开源模型训练了额外的推测解码器（speculative decoders），显著降低推理延迟。
实测数据：
- LightOnOCR-3-1B：单请求 387→1,313 tokens/s，64 并发下 3,702→10,677 tokens/s，加速 2.93x–3.49x
- TeleOCR：单请求 463→1,320 tokens/s，但 64 并发下仅 2,903→3,166 tokens/s（加速 1.10x–2.86x）——因其大量短调用，解码延迟占比小
- Infinity-Parser2-Flash：加速 1.80x–2.67x
OpenDocRouter 提供 PDF/图片转 Markdown 的统一 API，按页计费、失败页免费，新账户赠 5 美元额度。
「Infra」频道最新
- vLLM Speculators v0.9.0 发布:投机解码训练快 2 倍、存储省一半 — vllm_project · 2026-10-20
- 96GB M3 Ultra 跑本地模型实测:Qwen3.8-27B 编码体验最佳 — FanDiscombobulated38 · 2026-10-20
- Unsloth 量化 DeepSeek V4.1-Flash：1-bit 体积砍半仍保 88% 精度 — danielhanchen · 2026-10-20
- Hugging Face 推出推测解码教程，本地 AI 推理大幅提速 — huggingface · 2026-10-20
- 开源版 Muse Spark 推理成本仅 API 的 1/7,并发 agent 提升 4.7 倍 — ryanshrout · 2026-10-20
- HARNESS：纯 Rust 推理引擎，宣称 8GB 显存跑 70B 模型 — 9gxa05s8fa8sh · 2026-10-20