H-Net 从原始字节自学分词，代码任务效率提升 3-5 倍
gharik · x · 2026-10-29
Tri Dao 转发并称赞 H-Net 的最新结果：模型在代码数据上学会动态分词——自动把变量名拆成独立的 token，而非依赖 BPE，在代码任务上扩展性显著更好。
Albert Gu 在引用帖中阐述其理念：智能应来自简单、通用的构件，让模型直接从原始数据中自己学习抽象——即「苦涩的教训」。他提出从原始字节建模语言是这一理想的缩影：如果 LLM 无法端到端从字节学习，又如何处理我们理解更少的其他类型数据？
- H-Net 去年作为第一步被提出
- 新版本在受控的 scaling law 实验中取得最高 3-5 倍效率提升
- 更大规模下可匹配开源 BPE 模型
所属事件:Cartesia 发布 H-Net 新进展：字节级建模效率提升 3-5 倍(8 条相关)→
「模型」频道最新
- Paper Instruments 发布 Ultramarine 1 Flash：跑分超主流旗舰，成本低至 1/60 — baseten · 2026-10-29
- Gemini 4 竟"证明"了近半数给定的错误定理 — RishabJainK · 2026-10-29
- Sentdex:DeepSeek v4.1 Flash 成他本地生成 token 最多的模型 — Sentdex · 2026-10-29
- LoopVL 用 1B 参数循环复用 32 层，5/8 基准胜 4B 模型 — jiqizhixin · 2026-10-29
- 体验者赞 Fable 5 兼具科学深度与讲故事的热情 — repligate · 2026-10-29
- 统一版 ChatGPT 选模型有坑：Pro 要选 6 Sol 而非 Astra — Angaisb_ · 2026-10-29