Nature：字节化改造让 LLM 终于能数对单词里的字母

PontiEdoardo · x · 2026-10-12

大多数 LLM 无法可靠地在单个字母层面处理文本，比如经典的「strawberry 里有几个 r」问题——根源在于模型以 token 为单位编码单词，看不到底层字节。

Minixhofer 等人在 Nature 发表了一种名为 byteification（字节化）的方法，可将现有基于 token 的 LLM 改造为字节级运作，使模型能直接访问字符信息。北大学者 Zhao Zhang、Yingfei Xiong 在评论文章中指出，改造后的模型已能正确数出 "artificial intelligence" 中字母 i 的数量。