一人三天写出 vLLM 提速 120 倍的 tokenizer,自称世界最快

AccBalanced · x · 2026-11-22

samhogan 转发称 inference.net 上线了「世界最快的 tokenizer」,由 @TheHarryET 一人在不到三天内独立完成。原帖是一篇技术文章:团队数月来持续投入自研推理路由栈,采用 Elixir 构建自定义请求路由器,此次将 vLLM 的 tokenization 速度提升 120 倍,这是其系列博客的第一篇。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →