Albert Gu 发布 H-Net 新版：字节级建模效率提升 3-5 倍

Mamba 作者、CMU 研究者 Albert Gu 在 Cartesia 发表博客《From Tokens to Bytes I: Scaling Hierarchical Networks》，主张抛弃 tokenizer、字节级层级网络（H-Net）是下一个 scaling 台阶。其理念是智能应来自直接从原始数据中学习抽象的简单通用模块，即 the bitter lesson。新版 H-Net 将字节级建模效率提升 3-5 倍，仅需 10 倍数据即可对标 11T token 训练的模型。

2026-10-29 ~ 2026-10-29 · 3 条相关

• H-Net 新版:字节级建模效率提升 3-5 倍,10 倍数据即可对标 11T token 模型 — SonglinYang4 · 2026-10-29
• Cartesia 发万字博客:抛弃 tokenizer,字节级层级网络才是下一个 scaling 台阶 — SonglinYang4 · 2026-10-29
• Albert Gu:H-Net 字节级建模效率提升 3-5 倍,逼近 bitter lesson 理想 — stochasticchasm · 2026-10-29