Gigatoken：比 Tiktoken 快百倍的开源分词器
Thrumpwart · reddit · 2026-07-22
开发者推出了名为 Gigatoken 的全新开源分词器。根据项目公布的基准测试数据，其运行速度极其夸张，比 OpenAI 的 Tiktoken 快约 100 倍，比 Hugging Face 的分词工具快 500 到 1000 倍。
所属事件:斯坦福推出开源分词器 Gigatoken(5 条相关)→
「研究」频道最新
- 层级连续流语言模型让路径级 RL 更能抵御 critic 利用 — vxnuaj · 2026-10-27
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- 微软研究院：ForkPilot 让 Agent 决策回溯的算力开销最高降 59% — EliasEskin · 2026-10-27
- 微软发布 TeleTune：从离线遥测数据自动演化 Computer-use Agent 技能 — EliasEskin · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- PixGR:像素空间生成式解码加速前馈 3D 重建，稀疏视角下超越回归方法 — zhenjun_zhao · 2026-10-27