vLLM夜间版优化让吞吐从39.5提至47 tok/s
TheZachMueller · x · 2026-07-07
开发者ZachMueller对vLLM夜间版做了引擎改动,将吞吐从39.5 tok/s提升到47 tok/s,并对自己的迷你MCP做了流水线优化。之前流程是MCP返回代码→LFM把所有内容重写成JSON;现在改为直接从原始MCP结果解析候选项→LFM只看到名称并作答→代码再把pageid和URL原样拼接回去。是部署优化与数据预处理优化的结合。
所属事件:开发者优化vLLM与LFM实现吞吐量显著提升(3 条相关)→
「编程与Agent」频道最新
- 构建 AI Agent 安全网关：如何自托管多 SaaS 的 OAuth 集成 — Defiant_Cod_2654 · 2026-07-22
- Rowboat 作为开源本地优先 AI 同事上线 — ycombinator · 2026-07-22
- Reddit 用户串联 Ideogram 4 和 Krea2，复刻 bbox 定位效果 — v3lh0t05c0 · 2026-07-22
- Apollo 采用 Deep Agents 架构，AI 技能开发周期缩减 85% — LangChain · 2026-07-22
- Scoble 说 AI 的 loops 本质是长运行多智能体工作区 — Scobleizer · 2026-07-22
- Kimi Code 开放候补名单，Moonshot 推进编码产品 — Fabulous_Bonus_8981 · 2026-07-22