Meta 论文抛弃 tokenizer:字节模型蒸馏后反超 token 模型
mtizard · x · 2026-10-23
Meta FAIR 与华盛顿大学发布论文《Breaking the Token Ceiling》,系统研究字节级(byte-level)模型能否取代传统 tokenizer 方案。
- 核心做法:放弃约 10 万词表的 token 切分,让模型直接处理原始字节(词表仅约 256),并提出 Marginalize-It(近似)与 End-Of-Token(精确)两种把 token logits 转为字节 logits 的方法。
- 实验规模:对约 10 亿参数的稠密 Transformer 做「过度训练」扫描,变量包括 tokenization 方案(Tokens / Bytes / Bytes+EOT)与训练目标(蒸馏 vs 交叉熵),数据量最高达 1 万亿字节。
- 关键结论:在 8 项基准上,End-Of-Token Bytes-1B 在低 FLOP 区间即超过 Token-1B,且随算力增加达到更高的性能天花板;外推 scaling law 显示蒸馏 EOT-1B 下游性能可高出蒸馏 Token-1B 最多 4%,且数据效率高 6 倍(1/6 训练数据即可持平)。
- 附带收益:小词表免去 top-k 截断的 logits 转储,logit 存储成本降至约 1/5;预测显示 EOT-1B 渐进超越 Llama 3.2-1B(最多 6.5%)、Gemma-3-1B-pt(8.1%)与 Gemma 2B(2.1%)。
「模型」频道最新
- OpenAI 额度机制遭吐槽：剩 13% 用量时拒绝手动重置 — AccomplishedSugar490 · 2026-10-23
- 816B Meta 新模型 39 分反输 180B Qwen：开源模型得分/规模图 — BTA_Labs · 2026-10-23
- 文档太大就不干活？Gemini 在 Google Docs 里拒生图 — viksit · 2026-10-23
- 程序员吐槽：人生真正使命是安利大家试试最新 DeepSeek — intellectronica · 2026-10-23
- SubQ Snap 1.1 登顶决策模型指数，384K 上下文与低幻觉率取胜 — ArtificialAnlys · 2026-10-23
- PolyAI 推 Dialog-RSN-1 语音模型：单 pass 直听音频，响应快于 300ms — matthen2 · 2026-10-23