Meta 研究：字节级模型蒸馏后有望反超 Llama 3.2 1B
DotaMate · reddit · 2026-10-24
Meta FAIR 与华盛顿大学的论文《Breaking the Token Ceiling》研究让小模型直接读原始字节而非 token：
- 做法：训练约 1B 参数的小模型，分 token 版与 byte 版，并通过 Marginalize-It（近似）和 End-Of-Token（精确）两种方法把 token 型教师（Llama 3 8B）的知识蒸馏给按字节阅读的学生，解决「教师想 token、学生读字节」的转换难题。
- 发现：训练量少时 token 模型完胜；但 token 模型很快趋平，byte 模型持续提升。按曲线外推，蒸馏后的 EOT-1B 在下游任务平均超过 Llama 3.2-1B 约 4%，且只需 1/6 训练数据即可达到 token 模型同等水平；词表仅约 256 字节，免去 top-k 截断，logit 存储降到约 1/5。
- 代价与限制：「反超 Llama/Gemma」是外推预测，实际训练点上 token 模型仍领先；逐字节阅读约多 5 倍计算步数（省数据费算力）；教师仍依赖 token；仅在 1B 级别验证，能否规模化未知。
若成立，对手机/笔记本端侧小模型意义重大，还可能根治「数字数不对」这类分词器顽疾。
所属事件:Meta 论文称字节级模型蒸馏后可反超 token 模型(3 条相关)→
「模型」频道最新
- Gemma 4 26B 在 16GB Mac 离线跑 TypeScript 测试,33/40 分、31 tok/s — Mission-Sir-1614 · 2026-10-26
- Claude 拒答 SS7 攻击分析，开发者转向去审查版 GLM — l4rz · 2026-10-26
- Sakana AI 宣布从零预训练国产模型 Sawara,瞄准防务与网安 — tkasasagi · 2026-10-26
- 3100万参数英文 TTS 模型 Phonon-31M 登 Hugging Face 热榜 — gradium · 2026-10-26
- NVIDIA 实操教程:用 Nemotron Persona 数据集 LoRA 后训练本地化模型 — NVIDIA Developer · 2026-10-26
- 网友盛赞 Opus 5：最有 emo 气质的「艺术家型」模型 — repligate · 2026-10-26