LlamaIndex 17 项小优化叠加，OCRia-1 单卡 B200 生成提速近 10 倍
llama_index · x · 2026-11-04
LlamaIndex 团队披露如何把 OCRia-1 在单张 B200 上的 token 生成速度提升近 10 倍，核心思路是让同一块 GPU 在文档解析场景下被更充分地利用。
- 团队针对文档解析的实际负载逐项调优，每项改动同时验证速度与精度，避免为速度牺牲质量
- 单项改进往往只有 2–5%，但 17 个小优化累积起来带来近 10 倍的整体提升
- 基础设施团队撰写了完整复盘，说明哪些改动有效、如何测试验证
- 部分优化计划回馈开源 vLLM 项目
「Infra」频道最新
- 用 Pydantic 开源沙箱 Monty，AIOps 平台 token 成本降超 30% — samuelcolvin · 2026-11-04
- Fireworks 每日服务超 40T token，「专用模型」成主力 — natolambert · 2026-11-04
- MiniMax H3 生成单条镜头仅花 $0.38，跑在异构算力上 — DavidBennett__ · 2026-11-04
- 单卡 H200 跑 MoE 推理：减专家+RL 保精度+会话复用三招 — JFPuget · 2026-11-04
- Prized 开发盒上线通宵 GPU 租用,网友称 agent 自己租卡微调 — thisguyknowsai · 2026-11-04
- Superlinked 发布 SIE Serverless:面向 20+ 小模型任务的无服务器推理 — CShorten30 · 2026-11-04