Byte H-Net 代码任务计算效率达 2.24 倍，层级网络展现上下文分词涌现能力

Byte H-Net 与传统 BPE Transformer 的对比显示，在 Python 代码任务上取得 2.24 倍计算乘数，即 BPE 需要两倍以上算力才能达到同等效果；不过 OpenAI 研究员提醒该结论存在规模上的 caveat。另有研究展示了层级网络的“上下文分词”涌现行为：在含人造词的文本上，层级网络表现明显优于传统分词器。

2026-10-29 ~ 2026-10-29 · 2 条相关