Token 机制仍难被取代
mark_k · x · 2026-07-12
作者表示，自己原本以为像 ByT5、Meta 的 BLT 这类**字节级**模型会逐渐取代传统 tokenization，让模型直接处理原始字节；但到了 2026 年，现实似乎仍然是 **token 机制短期内不会退出舞台**，至少还会继续存在很久。 这条帖子的核心不是某个新发布，而是对模型表示方式演进的判断：**字节级路线很有吸引力，但 token 仍然是主流基础设施**，并且看起来会长期共存。
mark_k · x · 2026-07-12
作者表示，自己原本以为像 ByT5、Meta 的 BLT 这类**字节级**模型会逐渐取代传统 tokenization，让模型直接处理原始字节；但到了 2026 年，现实似乎仍然是 **token 机制短期内不会退出舞台**，至少还会继续存在很久。 这条帖子的核心不是某个新发布，而是对模型表示方式演进的判断：**字节级路线很有吸引力，但 token 仍然是主流基础设施**，并且看起来会长期共存。