一人三天写出 vLLM 提速 120 倍的 tokenizer,自称世界最快
AccBalanced · x · 2026-11-22
samhogan 转发称 inference.net 上线了「世界最快的 tokenizer」,由 @TheHarryET 一人在不到三天内独立完成。原帖是一篇技术文章:团队数月来持续投入自研推理路由栈,采用 Elixir 构建自定义请求路由器,此次将 vLLM 的 tokenization 速度提升 120 倍,这是其系列博客的第一篇。
「Infra」频道最新
- 分析师激辩 Google TPU 归属:押 DeepMind 还是做算力巨头 — vitaliychiley · 2026-11-22
- 亚马逊拟 75 亿美元收购 Decart,几乎是其最新估值的两倍 — rohanpaul_ai · 2026-11-22
- SurrealDB 单条查询每秒扫描超 100 亿行,公开实现细节 — mattturck · 2026-11-22
- 马里兰 1300 兆瓦燃煤电厂退役卡壳:输电线遭环保组织反对 — paulnovosad · 2026-11-22
- Agent 负载不是守规矩的批处理任务:会发散、卡顿、动态变形 — AccBalanced · 2026-11-22
- Inkling 2 Mini 在单张 4090 上跑到 117 tokens/s,作者建议弃用 llama.cpp — MerePotato · 2026-11-22