SentencePiece Lite 发布:50KB 二进制,tokenization 快 20-30 倍
heiga_zen · x · 2026-09-16
SentencePiece 作者 Taku Kudo 发布 SentencePiece Lite Runtime,一个面向资源受限场景的极简分词运行时,官方称它是下一代核心引擎。
关键数据与设计:
- 约 50KB 二进制、不到 2000 行 C++,零依赖(仅 FlatBuffers + C++20),可直接链接进移动 App、iOS/Android SDK 和嵌入式设备
- 直接读取内存映射的 FlatBuffers 模型文件(.spm.fb),实现零拷贝启动,吞吐量比原版快 20-30 倍,堆内存分配大幅减少,支持 zero-heap 运行
- 功能上保留 Unigram 与 BPE、文本归一化、byte fallback、原始字节偏移追踪、随机子词采样(Gumbel/BPE Dropout)与安全边界预切分,结果与原版 100% 兼容
- 提供单文件 .cc 整合发行,便于集成;未来将成为 SentencePiece 的默认运行时核心
对做端侧/边缘部署推理栈的工程师来说,这是一个显著降低 tokenization 开销的新选项。
「Infra」频道最新
- 欲撼动 Postgres 须先复制其集成生态，而非只拼性能 — mgill25 · 2026-11-02
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02