H-Net 新版:字节级建模效率提升 3-5 倍,10 倍数据即可对标 11T token 模型
SonglinYang4 · x · 2026-10-29
Mamba 作者之一 Albert Gu 阐述其研究理念:智能应来自简单、通用的基础模块,直接从原始数据中学习抽象——即 the bitter lesson。字节级语言建模是这一理想的缩影:如果 LLM 无法从字节端到端学习,又如何处理我们理解更少的世界其他数据?
去年团队推出分层网络 H-Net 作为第一步,新版取得实质进展:
- 在受控 scaling law 实验中实现最高 3-5 倍效率提升
- 更大规模下,以约 1/10 的数据与算力匹配一个用 11T token 训练的开源模型
Gu 认为这是向「能从所有数据中学习的 AI」迈出的真实一步。
所属事件:Albert Gu 发文：抛弃 tokenizer，字节级层级网络成新 scaling 方向(2 条相关)→
「研究」频道最新
- 补充细节：motif-TF 交互图覆盖 54 个 TF 家族，支持点击放大与套索圈选 — jmschreiber91 · 2026-10-29
- Any3R 论文：单一前馈模型通吃针孔/鱼眼/全景等 13 种相机，3D 重建最准 — zhenjun_zhao · 2026-10-29
- GeoGSplat 引入几何先验，DTU/NRGBD 新视角合成双榜登顶 — zhenjun_zhao · 2026-10-29
- SG²SLAM 用空间几何先验做单目户外 3DGS SLAM 导航 — zhenjun_zhao · 2026-10-29
- 六边形基元 Hexels 出笼：比 2DGS 高 4.5-7.4 dB 还省显存 — zhenjun_zhao · 2026-10-29
- StereoSplat 从立体视频做度量尺度新视角合成，深度误差降至 0.03 — zhenjun_zhao · 2026-10-29