HF tokenizers 新版：特殊 token 内存降 1000 倍，解码提速 26%
art_zucker · x · 2026-11-03
Hugging Face tokenizers 库本周更新：特殊 token 的存储从「每个 token id 一个槽位」改为紧凑结构。以 gpt-oss 为例，21 个 added token（id 199998–200018）过去要占 200019 个槽位，现在内存占用降低 1000 倍。基准测试（6 个 Hub 热门 tokenizer，AMD EPYC 7R13）显示整体 tokenizer 内存减少 17%、加载时间缩短 19%、解码速度提升 26%。v1 rc 版即将发布。
「Infra」频道最新
- WSJ：大投资者压价 Anthropic IPO 至 1.5-1.6 万亿美元 — rohanpaul_ai · 2026-11-03
- Cerebras 工程师拆解晶圆级芯片散热:水直进直出而非平行流过 — bookwormengr · 2026-11-03
- Altman 称家用闲置内存浪费，Goertzel 倡去中心化算力网络反制 — bengoertzel · 2026-11-03
- 网友讽刺 AI 算力泡沫：借天量资金半年建 420 座数据中心 — asymco · 2026-11-03
- 硅谷广告牌抗议云 AI 偷数据,博主预言 iPhone 本地助手将匹敌云端十年 — brandon_xyzw · 2026-11-03
- 25 周里 23 周登顶：DeepSeek 占 OpenRouter 32% tokens — teortaxesTex · 2026-11-03