Byte H-Net 用不到 1/10 训练 token 追平 SmolLM3-3B 成绩

xennygrimmato_ · x · 2026-10-29

配图展示 Byte-level 2-stage H-Net 与 SmolLM3-3B（BPE Transformer）在计算和数据匹配条件下的预训练评测对比（Figure 7）：

• 在六项任务平均分上，Byte H-Net 只用约 1T token 就达到 SmolLM3-3B 用约 11T token 才达到的水平，节省超过 10 倍训练 token
• 两条曲线最终收敛到相近的约 64% 平均分，说明字节级 H-Net 架构在数据效率上大幅优于传统 BPE 分词 Transformer

这是无分词（tokenizer-free）路线迄今最有说服力的数据效率证据之一。

原文链接 →

「研究」频道最新

• SceneBloom 论文、代码与项目页全放出,附基线对比图 — Lianhuiq · 2026-10-29
• Fireworks 推出专项智能指数 SII,新增 31 家伙伴覆盖 14 个领域 — lqiao · 2026-10-29
• SceneBloom:扩散模型生成 3D 室内场景,导航收益达真实扫描 1.7 倍 — Lianhuiq · 2026-10-29
• 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
• Byte H-Net 代码任务显示 2.24 倍计算效率，OpenAI 研究员提醒规模 caveat — willdepue · 2026-10-29
• 467页图解《心理学与神经科学原理》上线,可配 AI 导师阅读 — burkov · 2026-10-29

更多「研究」频道 AI 资讯 →