Gigatoken：比 Tiktoken 快百倍的开源分词器
Thrumpwart · reddit · 2026-07-22
开发者推出了名为 Gigatoken 的全新开源分词器。根据项目公布的基准测试数据，其运行速度极其夸张，比 OpenAI 的 Tiktoken 快约 100 倍，比 Hugging Face 的分词工具快 500 到 1000 倍。
所属事件:斯坦福推出开源分词器 Gigatoken(5 条相关)→
「研究」频道最新
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准：不打标准答案，专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11