Nature 论文用不足 1% 预训练成本把子词模型改造成字节级 Bolmo
Justgototheeffinmoon · reddit · 2026-10-22
2026 年 10 月 7 日发表的 Nature 论文提出「byteification」方法：把现有子词级语言模型转换为字节级模型，总成本仅 491 亿 token，不足典型预训练预算的 1%（第一阶段 98 亿 token 冻结全局模型，第二阶段 393 亿 token）。
关键事实：
- 团队由 Benjamin Minixhofer 领衔，共同作者包括 Luke Zettlemoyer、Noah A. Smith、Luca Soldaini、Valentin Hofmann。
- 应用于四个开源模型：OLMo 3 7B、OLMo 2 1B、Qwen3 8B Base、Llama 3 8B，产物命名为 Bolmo 7B、Bolmo 1B、Bwen 8B、Blama 8B；参数量几乎不变（7B 版 +4.5%，1B 版 -0.7%）。
- Bolmo 7B 在 STEM 任务上比此前字节级基线 BLT 7B 绝对提升 16.5%，通用基准性能与子词源模型接近。
- 动机：主流子词分词会掩盖细粒度信息，对代码、生物序列等科学数据不利；字节级模型此前性能落后。
- 两个核心技术选择：边界预测为非因果（借用 1 字节未来上下文）；字节词表从 256 翻倍到 512，将边界符号与字节直接融合。产物可以实际推理速度运行并兼容现有推理栈。
「研究」频道最新
- 持续学习缺个 L0.5：agent 状态四层模型引出权重与上下文之间的空白 — willcb · 2026-10-22
- JOLT 机制拆解:同一模型师徒双角色,防老师走捷径 — perplexity_ai · 2026-10-22
- Perplexity 发布 JOLT:训练 token 只需 GRPO 的 1/6.5 — perplexity_ai · 2026-10-22
- PDD 蒸馏发布月余即被阿里、NVIDIA 等六家团队采用 — ArashVahdat · 2026-10-22
- RFD4-Proteina 蛋白设计：DNA 结合子通过率 3.5% vs 基线 0.8% — AllThingsApx · 2026-10-22
- RFD4-Proteina 77 个小分子结合靶标全部通过计算结构检查 — AllThingsApx · 2026-10-22