Meta FAIR 新论文：蒸馏字节模型首次大规模超越 token 模型
mgostIH · x · 2026-10-24
Meta FAIR 与华盛顿大学发布 arXiv 论文《Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models》（作者含 Luke Zettlemoyer、Mike Lewis 等）。
核心内容：
- 提出两种将 token logits 高效转换为 Byte logits 的方法：近似的 Marginalize-It 与精确的 End-Of-Token
- 首次对 decoder-only 稠密 transformer 的大规模过训练做系统研究，同时变化两个维度：分词方案（Tokens / Bytes / Bytes+<eot>）与训练目标（蒸馏 vs 交叉熵），覆盖约 1B 参数模型、训练数据最高达 1 万亿字节
- 在 8 个基准（多选 QA、语言生成、机器翻译三类）上发现 Token-1B 模型在多数设定下仍优于字节模型，但字节模型通过蒸馏可显著缩小乃至反超差距（详见论文）
这是关于「字节级模型能否取代 BPE 分词」这一长期争论的重要实证工作。
所属事件:Meta 论文称字节级模型蒸馏后可反超 token 模型(3 条相关)→
「研究」频道最新
- 普渡大学打造无 GPS 穿林追踪跑者的自主无人机,LiDAR 全部上芯片 — KordingLab · 2026-10-26
- 研究:LLM 推荐药物集中于同一品牌,均值占比达 97.5% — EricTopol · 2026-10-26
- Papers with Code 宣布开源，采用 Apache 2.0 许可证 — NielsRogge · 2026-10-26
- 斯坦福 NLP COLM 2026 主题演讲:可解释性从被动观测转向因果干预 — stanfordnlp · 2026-10-26
- 中科大论文:若矩阵乘法指数低于 9/4,格密码筛法也将提速 — jedisct1 · 2026-10-26
- LLM 文本水印经典实现:GitHub 开源水印与检测算法 — adnan_hashmi · 2026-10-26