AI2 字节化研究登 Nature,开源 Bolmo 与新 checkpoint
Allen Institute for AI (AI2) 宣布其「字节化」(byteification) 研究正式登上 Nature。该工作是全开源字节级语言模型 Bolmo 的技术基础,AI2 同时发布了新的 checkpoint。字节级语言建模路线由此获得顶级学术期刊认可,对 NLP 与开源社区均具标志性意义。
已确认
- AI2 解释了动机:多数语言模型把文本切成固定词表中的子词,会掩盖不同书写系统的拼写细节,并把代码或数学中有意义的单元拆碎;字节级模型直接处理计算机表示文本的字节,对拼写、罕见词、非常规字符串更灵活,且无需传统分词器。
- 方法上,通过一段短程附加训练把现有子词模型适配到字节,同时保留模型核心权重;新增组件将字节分组为变长 patch 供模型处理,输出再扩展回字节级表示以预测下一个字节。
- 实证方面,AI2 将 Qwen 3 8B 与 Llama 3 8B 分别字节化为 Bwen 8B 与 Blama 8B,评测显示均接近源模型性能,其中 Bwen 8B 在综合评测套件中还超过 Bolmo 7B;模型已在 Hugging Face 上提供。
- 新发布的 Stage 1 checkpoint 已完成字节级组件训练,原始模型权重保持不变,研究者可在此基础上直接测试新架构或训练完整系统,无需重复初始训练阶段。
为什么重要
- 字节级建模绕过子词切分的局限,对多语言拼写、代码与数学等场景更友好,且转换成本低(保留原模型权重、只需短程附加训练)。
- 开源 Stage 1 权重大幅降低复现与后续研究门槛,配合 Nature 发表,可能推动字节级路线成为子词模型的有力替代方案。
2026-10-07 ~ 2026-10-08 · 7 条相关
一手来源
- AI2 字节化方法登上 Nature:Bolmo 让语言模型直接读写字节 — allen_ai ·
- AI2 开源 Stage 1 checkpoint:字节级组件已训好,原模型权重不变 — allen_ai ·
- AI2 字节化 Qwen3 与 Llama3:Bwen/Blama 8B 性能逼近原模型 — allen_ai ·
- 【源头】AI2 字节化方法登上 Nature:Bolmo 让语言模型直接读写字节 — allen_ai · 2026-10-07
- 为什么字节级模型重要:子词切分掩盖拼写、拆碎代码与数学 — allen_ai · 2026-10-07
- Bolmo 配方:短程训练即可把子词模型改造成字节级模型 — allen_ai · 2026-10-07
- 【源头】AI2 字节化 Qwen3 与 Llama3:Bwen/Blama 8B 性能逼近原模型 — allen_ai · 2026-10-07
- 【源头】AI2 开源 Stage 1 checkpoint:字节级组件已训好,原模型权重不变 — allen_ai · 2026-10-07
- Ai2 字节级模型 Bolmo 研究登上 Nature,并开放 Stage 1 权重 — allen_ai · 2026-10-07
- 字节级语言模型改造方法登 Nature,已扩展至 Qwen 与 Llama — PontiEdoardo · 2026-10-08