Albert Gu:H-Net 字节级建模效率提升 3-5 倍,逼近 bitter lesson 理想
stochasticchasm · x · 2026-10-29
CMU 研究者 Albert Gu(前作 Mamba)发布层级网络(H-Net)新版本,主张智能应来自直接从原始数据中学习自身抽象的简单通用构件——即 bitter lesson 的路线。
要点:
- 核心问题:如果 LLM 无法从原始字节端到端学习,又如何处理我们理解更少的世界其余数据?字节级语言建模是这一理想的缩影。
- 去年提出的 H-Net 是第一步;新版在受控 scaling law 实验中实现最高 3-5 倍效率提升,较大规模下可媲美开源 tokenizer 方案。
- 新版本涌现出「in-context tokenization」等新行为:模型在上下文内动态学习切分新词(图中展示对虚构词 borvexila/mipralune 的切分与普通 tokenizer 的对比)。
- Jonathan Chang 等研究者转发称赞 in-context tokenization "super cool"。
所属事件:Albert Gu 发布 H-Net 新版：字节级建模效率提升 3-5 倍(3 条相关)→
「模型」频道最新
- 传 OpenAI 因 Gemini 新模型推迟重大发布至明日 — mark_k · 2026-10-29
- Gemini 安全模型获好评,却被调侃丢了「重罪基准」 — vitaliychiley · 2026-10-29
- Google 模型登顶 Frontier、股价却盘后暴跌 8%，分析师为何无动于衷 — bookwormengr · 2026-10-29
- 开发者盛赞 gpt-6-luna 性价比,称 opus-5.5 是最强实现模型 — emax · 2026-10-29
- Meta 研究员感叹 Gemini 半年内进步惊人,榜单图疯传 — armandjoulin · 2026-10-29
- AA 新基准测模型性格:GPT-6 与 Grok 最直给,Gemini 4 垫底 — ArtificialAnlys · 2026-10-29