AI2 字节化方法登上 Nature:Bolmo 让语言模型直接读写字节

allen_ai · x · 2026-10-07

Allen Institute for AI (AI2) 宣布,其将语言模型改造为直接在字节上运行的「字节化」(byteification) 论文被 Nature 接收,该方法也是 Bolmo 模型的技术基础,并同步发布了新 checkpoint,把方法从 Olmo 扩展到 Qwen 与 Llama。

论文核心论点:主流 LLM 用子词 token 表示文本,会掩盖细粒度信息,这对代码、生物序列等依赖字符/字节级别的科学数据尤为不利;字节级模型可避开该缺陷,但此前性能落后。AI2 提出两阶段转换流程,把现有子词模型改造为可逼近子词模型能力的字节级 LLM。