LlamaIndex 叠加 17 项优化,OCRia-1 单卡提速近 10 倍
LlamaIndex 团队宣布将 4B 参数的 SOTA 文档解析模型 OCRia-1 在单张 B200 上的生成速度从 285 tok/s 提升到 2800 tok/s,提速近 10 倍。团队随后披露了实现方法:并非依赖单一重大改动,而是通过 17 项小优化叠加,核心思路是让同一块 GPU 在文档解析场景下被更充分地利用。
2026-11-04 ~ 2026-11-04 · 2 条相关
- LlamaIndex 17 项小优化叠加,OCRia-1 单卡 B200 生成提速近 10 倍 — llama_index · 2026-11-04
- LlamaIndex 将文档解析模型 OCRia-1 在单张 B200 上提速 10 倍至 2800 tok/s — llama_index · 2026-11-04