AI2 字节化方法登 Nature，Bolmo 扩展至 Qwen 与 Llama
Allen Institute for AI (AI2) 宣布其「字节化」(byteification) 研究被 Nature 接收，该工作是全开源字节级语言模型 Bolmo 的技术基础，采用潜在 token 化(latent tokenisation)路线。AI2 同步发布新 checkpoint，把方法从 Olmo 扩展到 Qwen 与 Llama 架构，现有 LLM 无需从头重训即可获得字节级操作带来的多语言与噪声鲁棒性优势。字节级语言建模路线由此获得顶级学术期刊认可，复现门槛因开源权重大幅降低。
已确认
- 动机：多数语言模型把文本切成固定词表中的子词，会掩盖不同书写系统的拼写细节，并把代码或数学中有意义的单元拆碎；字节级模型直接处理计算机表示文本的字节，对拼写、罕见词、非常规字符串更灵活，且无需传统分词器。
- 方法：通过一段短程附加训练把现有子词模型适配到字节，同时保留模型核心权重；新增组件将字节分组为变长 patch 供模型处理，输出再扩展回字节级表示以预测下一个字节。
- 实证：AI2 将 Qwen 3 8B 与 Llama 3 8B 分别字节化为 Bwen 8B 与 Blama 8B，评测显示均接近源模型性能，其中 Bwen 8B 在综合评测套件中还超过 Bolmo 7B；模型已在 Hugging Face 上提供。
- 新发布的 Stage 1 checkpoint 已完成字节级组件训练，原始模型权重保持不变，研究者可在此基础上直接测试新架构或训练完整系统，无需重复初始训练阶段。
- 据 natolambert、PontiEdoardo 等转发与评述，该成果已从 Olmo 扩展至 Qwen 与 Llama 架构。
为什么重要
- 字节级建模绕过子词切分的局限，对多语言拼写、代码与数学等场景更友好，且转换成本低（保留原模型权重、只需短程附加训练）。
- 开源 Stage 1 权重大幅降低复现与后续研究门槛，配合 Nature 发表，可能推动字节级路线成为子词模型的有力替代方案。
2026-10-07 ~ 2026-10-08 · 11 条相关
一手来源
- AI2 字节化方法登上 Nature:Bolmo 让语言模型直接读写字节 — allen_ai ·
- AI2 字节化 Qwen3 与 Llama3:Bwen/Blama 8B 性能逼近原模型 — allen_ai ·
- AI2 开源 Stage 1 checkpoint:字节级组件已训好,原模型权重不变 — allen_ai ·
- 【源头】AI2 字节化方法登上 Nature:Bolmo 让语言模型直接读写字节 — allen_ai · 2026-10-07
- 为什么字节级模型重要:子词切分掩盖拼写、拆碎代码与数学 — allen_ai · 2026-10-07
- Bolmo 配方:短程训练即可把子词模型改造成字节级模型 — allen_ai · 2026-10-07
- 【源头】AI2 字节化 Qwen3 与 Llama3:Bwen/Blama 8B 性能逼近原模型 — allen_ai · 2026-10-07
- 【源头】AI2 开源 Stage 1 checkpoint:字节级组件已训好,原模型权重不变 — allen_ai · 2026-10-07
- Ai2 字节级模型 Bolmo 研究登上 Nature,并开放 Stage 1 权重 — allen_ai · 2026-10-07
- 字节级语言模型改造方法登 Nature,已扩展至 Qwen 与 Llama — PontiEdoardo · 2026-10-08
- Ai2 字节级模型方法 Bolmo 登 Nature,已扩展至 Qwen 与 Llama — natolambert · 2026-10-08