Mamba作者H-Net新架构免tokenizer直学原始字节,省10倍数据算力
MikePFrank · x · 2026-10-29
Albert Gu 团队发布 H-Net（层次化网络）新版本，让模型直接从原始字节端到端学习，无需固定 tokenizer。
- 新架构能在线理解原始数据的基本结构：只看过几次代码后就能学会为未见过的编程语言自动分词
- 在受控 scaling law 实验中带来 3-5 倍效率提升；收敛到同等性能只需传统模型约 1/10 的数据与算力
- Gu 认为这是对 bitter lesson 的践行：智能应来自简单通用的构建块直接从原始数据学出自己的抽象；如果 LLM 无法从字节端到端学习，就更难处理我们理解更少的其他世界数据
被引用者为 Mamba 作者 Albert Gu，本人转发背书，称这是「从所有数据中学习」的真正一步。
所属事件:Cartesia 发布 H-Net 新版：直接学原始字节，效率提升 3-5 倍(12 条相关)→
「研究」频道最新
- 研究者亲历:一个转向向量即可让 RLHF 模型持续输出违禁词 — voooooogel · 2026-10-29
- OpenAI 数学论证仍属原始研究，尚无专家公开评估 — maier_ak · 2026-10-29
- OpenAI 疑用 Lean 形式化数学猜想，尚无专家公开评估 — maier_ak · 2026-10-29
- OpenAI 模型声称以 Lean 形式化证明局部光滑与 Kakeya 猜想 — maier_ak · 2026-10-29
- 传 OpenAI 模型 59 页 Lean 证明包揽局部光滑与 Kakeya 猜想 — maier_ak · 2026-10-29
- UCSB 论文：TTME 用记忆演化替代测试时训练，省 84% 算力还更准 — rohanpaul_ai · 2026-10-29