Tokenomos 开源：重写 vLLM 前端，小模型推理提速近 3 倍
bdsqlsz · x · 2026-11-01
KBlueleaf 开源了 Tokenomos,一个面向小型 VLM 本地推理的服务引擎。核心思路不是改 GPU kernel 或量化技巧——模型代码完全照搬 vLLM——而是完全重写前端,把调度、KV cache/状态管理、采样、stop 检查等每步的主机端工作全部搬到设备上,使 CPU 不再成为瓶颈。
实测数据(RTX 5090):
- LFM3-VL 2B 在 batch 512 下解码速度达 79,030 tok/s,对比 Kohaku/vLLM 的 22,448,接近 3.5 倍
- Gemma 4 E4B 达 29,524 tok/s vs vLLM 17,213
- 512 序列时每步 GPU 空闲仅 0.23 ms,而 vLLM 为 14.37 ms
- 主机端每步开销在 8512 行下几乎持平(0.12→0.41 ms)
支持 LFM3、Qwen3.5-3.8、Gemma 4 等小模型,Apache-2.0 协议,前端速度为最快 caption 速率的 6 倍以上。
「Infra」频道最新
- 评论:AI 不豁免经济学,数据中心支出终须证明价值 — DavidLinthicum · 2026-11-01
- 前 NVIDIA 高管：Meta 40% GPU 闲置外放，NeoCloud 明年陷入困境 — SumitGup · 2026-11-01
- AMD MI355X 跑 Kimi K3 推理，性价比最高达 B200 两倍 — AnushElangovan · 2026-11-01
- CI 账单对比：同样 2 万分钟 GitHub $120、Blacksmith $80、Celesto $13 — aniketmaurya · 2026-11-01
- Celesto 推出 CI Runner:改一行配置,价格比 GitHub Actions 便宜近 90% — aniketmaurya · 2026-11-01
- 三菱J级燃气轮机效率超64%,订单已排到数年后 — PAstynome · 2026-11-01