Gigatoken：比 Tiktoken 快百倍的开源分词器
Thrumpwart · reddit · 2026-07-22
开发者推出了名为 Gigatoken 的全新开源分词器。根据项目公布的基准测试数据，其运行速度极其夸张，比 OpenAI 的 Tiktoken 快约 100 倍，比 Hugging Face 的分词工具快 500 到 1000 倍。
所属事件:斯坦福推出开源分词器 Gigatoken(5 条相关)→
「研究」频道最新
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27
- 一份横跨 ML、系统、NLP 与音频的经典论文清单 — deliprao · 2026-07-27