Meta 论文称字节级模型蒸馏后可反超 token 模型

Meta FAIR 与华盛顿大学发布 arXiv 论文《Breaking the Token Ceiling》，系统研究抛弃 tokenizer、让模型直接读取原始字节的字节级方案。研究训练了约 10 亿参数的字节模型，并采用蒸馏技术，结果显示蒸馏后的字节模型首次在大规模上超越对应的 token 模型，性能有望反超 Llama 3.2 1B，为去 tokenizer 的语言模型架构提供了新证据。

2026-10-23 ~ 2026-10-24 · 3 条相关

• Meta 论文抛弃 tokenizer:字节模型蒸馏后反超 token 模型 — mtizard · 2026-10-23
• Meta FAIR 新论文：蒸馏字节模型首次大规模超越 token 模型 — mgostIH · 2026-10-24
• Meta 研究：字节级模型蒸馏后有望反超 Llama 3.2 1B — DotaMate · 2026-10-24