研究者称 BPE 分词器只是惯性赢家，替代方案仍存挑战

AI 研究者 kalomaze 在讨论无分词器（tokenizer-free）训练时表示，BPE 的主导地位更多源于惯性而非优势。他曾用「对固定大小的 UTF-8 位做线性投影、完全不用专用 embedding 表」的简单基线取得不错效果。但他也指出核心难题在于训练过程需要一个尺寸固定的计算单元，而 H-net 的一大缺点正是其计算单元会随过程变化，稳定性不足。

2026-10-29 ~ 2026-10-29 · 2 条相关

• kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权 — kalomaze · 2026-10-29
• kalomaze:固定长度计算单元是H-net痛点,BPE只是惯性赢家 — kalomaze · 2026-10-29