Actual 发布纯汇编 tokenizer toks，速度最高超 Hugging Face 151 倍

Actual Computer 发布名为 toks 的生产级 tokenizer，自称「为千万亿 token 时代设计」，大部分计算以纯汇编实现，目标是让速度上限仅取决于硅片本身。其返回的 token id 与 Hugging Face tokenizers 及 tiktoken 完全一致，可无缝替换；基准测试显示速度比 Hugging Face 快 13 至 151 倍，全格式胜过 tiktoken，tokspar 在 8 个 GB10 核心上编码速度达 1.6 至 1.8 GB/s。

2026-10-07 ~ 2026-10-07 · 3 条相关

• Actual 发布汇编级 tokenizer toks：比 Hugging Face 快达 151 倍 — markjeffrey · 2026-10-07
• toks 分词器比 Hugging Face 快 13-151 倍,全格胜过 tiktoken — markjeffrey · 2026-10-07
• toks 用纯汇编实现 tokenizer:8 核编码速度达 1.8 GB/s — cephaloform · 2026-10-07