H-Net 扩散律不如 BPE？外部拟合称交叉点要 4e24 FLOPs
teortaxesTex · x · 2026-10-30
- albertgu（Mamba 作者）原推：介绍 H-Net（层级网络，直接从 raw bytes 端到端学习分词与抽象）新版本，在受控 scaling law 实验中取得最高 3-5 倍效率提升，更大规模下可匹敌开源强基线，称这是「苦涩教训」方向的实质一步。
- szhaai 引用质疑：从小规模实验外推，H-Net 随算力增长的扩展性仍不如 BPE 基线；用 L = E + A·C^(−α) 拟合博客数据，BPE 的 α=0.1366 略优于 H-Net 的 0.1338，两者交叉点约在 4e24 FLOPs——仍在现代预训练预算内。可能原因：大词表使 BPE 基线的算力被最后一层主导，或基线词表未调优（大模型用更小词表扩展性更好）。
- 配图第三方拟合：在 1e18–1e20 FLOPs 区间 H-Net 的算力优势每 10 倍算力缩小约 4.7%，1.37× 优势到 3e20 收窄至 1.22×；但 95% 置信区间仍含零，指数差在 bpb 和 OLMES 下 P 值分别为 0.92/0.90，结论是「提示性而非决定性」。
所属事件:Albert Gu 团队发布 H-Net 新版：直学原始字节，效率提升 3-5 倍(18 条相关)→
「模型」频道最新
- 爆料称 Gemini 4 Xenon 将发布:刷满基准、成本大降 — teortaxesTex · 2026-10-30
- Sam Altman：新模型连破研究员毕生难题，让我感到「某种东西结束了」 — ChrisGPT · 2026-10-30
- Google Pro 付费用户吐槽:Pro 被降智,超量只能用最差模型 — RyanZ225_PC · 2026-10-30
- 博主预测 OpenAI 发布季将以对标 Opus 5.5 的模型收官 — CtrlAltDwayne · 2026-10-30
- NVIDIA 开源 AlpaJudge 评委模型,专评自动驾驶推理质量 — Balance- · 2026-10-30
- 低延迟游戏 AI 语音实测拆解：缓存+预生成+MTP，最快 2 秒出声 — karminski3 · 2026-10-30