toks 分词器比 Hugging Face 快 13-151 倍,全格胜过 tiktoken
markjeffrey · x · 2026-10-07
actualinc 发布的分词器 toks 宣称:返回的 token id 与 Hugging Face tokenizers 或 tiktoken 完全一致,可无缝替换;在单 CPU 核上比 Hugging Face tokenizers 快 13 到 151 倍,且在 tiktoken 可运行的所有测试项中都更快。对推理管线中的 tokenization 瓶颈是个值得关注的优化选项。
所属事件:Actual 发布纯汇编 tokenizer toks，速度最高超 Hugging Face 151 倍(3 条相关)→
「Infra」频道最新
- PyTorch 用 Triton 替换 CUDA，推荐系统 kernel 前向提速 1.28 倍 — PyTorch · 2026-10-07
- B200 价格飙升,网友调侃英伟达该反思卖卡对象了 — matt_slotnick · 2026-10-07
- Google 与 MIT 发布 Coco:用智能体辅助 TPU 硬件-模型协同设计 — dair_ai · 2026-10-07
- 单 GPU 开发者自建桌面 API 网关：统一 OpenAI/Anthropic 兼容接口 — rootshelldev · 2026-10-07
- PyTorch 大会将讲 DeepSpeed 张量/序列/专家并行新用法 — PyTorch · 2026-10-07
- 曝 SpaceX 拟融资 400 亿美元购置英伟达 AI 芯片，Apollo 牵头 — Polymarket · 2026-10-07