H-Net 新版实现 3-5 倍效率提升，探索直接从原始字节学习
omarsar0 · x · 2026-10-29
Albert Gu（Mamba 作者之一）阐述其理念：智能应来自简单、通用的构件，直接从原始数据学习自身抽象——即 bitter lesson 的体现。他认为字节级语言建模是 AI 的核心问题：如果 LLM 无法端到端从字节学习，又如何处理我们理解更少的世界其余数据？
要点：
- 去年推出的层次网络 H-Net 是第一步；新版本在受控 scaling law 实验中取得最高 3-5 倍效率提升
- 更大规模下可匹敌开源 tokenizer 基线，意味着绕过 BPE tokenizer 直接学习所有类型数据成为可能
- Sebastian Raschka 等研究者转发推荐，称这是过去一年最喜欢的研究方向，且只是冰山一角
所属事件:Cartesia 发布 H-Net 新版：直接学原始字节，效率提升 3-5 倍(12 条相关)→
「模型」频道最新
- LiquidAI LFM3-1.7B 无限制 GGUF 量化版登上 HF 热榜 — AtomicChat · 2026-10-29
- 20 美元档怎么选：机器人与 ML 工程师求评 Claude Pro vs ChatGPT Plus — Wild_Shower6854 · 2026-10-29
- Odyssey-3 世界模型实现实时高物理精度环境模拟 — Scobleizer · 2026-10-29
- Qualia 在三项机器人数据基准全面领先 Flora 与 GPT-6 Astra — lukas_m_ziegler · 2026-10-29
- Particle-1 推理服务上线 OpenRouter,输出 token 省 28-52% — ycombinator · 2026-10-29
- Qwen3.8-27B EXL3 量化 KLD 仅 0.0002,18.8GB 显存超 Q8 精度 — suprjami · 2026-10-29