H-Net 升级版实现 3-5 倍效率提升，Albert Gu 称向「苦涩教训」迈进一步

niloofar_mire · x · 2026-10-29

CMU 的 Albert Gu 与 Cartesia 团队发布 H-Nets（层级网络）新进展：核心主张是让模型直接从原始数据（如 raw bytes）端到端地学习抽象层级，去掉手工设计的启发式分词等组件，践行「苦涩教训」。新版 H-Net 在受控 scaling law 实验中最高取得 3-5 倍效率提升，在更大规模上可比肩开源基线。作者认为「能否让 LLM 从字节端到端学习」是 AI 的核心问题——连字节都学不好，更谈不上理解世界上其他未被充分结构化的数据。团队发布了系列博客文章，后续还有更多内容。