Actual 发布汇编级 tokenizer toks：比 Hugging Face 快达 151 倍
markjeffrey · x · 2026-10-07
- Actual Computer 发布首个公开软件 toks，定位「为千万亿 token 时代设计」的生产级 tokenizer，接受与 Hugging Face tokenizers 兼容的任意 tokenizer 配置，输出与 HF tokenizers / tiktoken 完全一致的 id。
- 性能靠手写汇编热点路径 + C 胶水 + Python 封装实现：单核新文本上比 Hugging Face tokenizers 快 13x–151x，在 tiktoken 可运行的全部 195 个测试项中全面更快；Llama 3 英文散文单核 269.8 MB/s（tiktoken 30.3、HF 5.36）；Kimi K3 代码场景 474.3 MB/s，达 tiktoken 的 124 倍；多核版本 tokspar 对 16 MiB 输入达 1.6 GB/s。
- 团队主张「非人类代码」将成为标准，后续会让 toks 越来越多由显式优化的汇编写成。
所属事件:Actual 发布汇编级分词器 toks,最快超 Hugging Face 151 倍(2 条相关)→
「编程与Agent」频道最新
- AgentID 发布：给 AI Agent 做「Sign in with Google」式身份登录 — ycombinator · 2026-10-07
- 收录 226 个 Claude Opus 动画视频案例,Prompt 全部公开可跑 — dotey · 2026-10-07
- 2000+ Star 开源项目新增 9 种 AI 动画讲解视频风格,附完整起号工作流 — dotey · 2026-10-07
- ChatGPT 推出 Meetings 插件:自动记会议纪要,再把上下文喂给 Codex 干活 — craigsdennis · 2026-10-07
- MCP 实测短板：Luma 活动表单无法自定义问题，只能切回浏览器 — aronkor · 2026-10-07
- 「你的 Agent 想在 monorepo 里干活」,网友吐槽:这是 Bazel 写的吧 — vboykis · 2026-10-07