kalomaze:固定长度计算单元是H-net痛点,BPE只是惯性赢家
kalomaze · x · 2026-10-29
kalomaze 在讨论无分词器(tokenizer-free)训练时指出,核心难题是你需要一个在训练过程中尺寸固定的计算单元,而 H-net 的一个最大缺点恰是计算单元随训练变化,导致在等 bpb + FLOPS 下难以公平对比。
他还分享一个反直觉实践经验:直接用「固定长度 UTF-8 bit 的线性投影、完全不用 embedding 表」这种看似愚蠢的 baseline 效果就不错,因此他认为 BPE 的统治地位更多是惯性使然而非本质优势。
所属事件:研究者称 BPE 分词器只是惯性赢家，替代方案仍存挑战(2 条相关)→
「研究」频道最新
- GPT-6.1 Terra 得分 28.1% 追平 Fable 5.1，token 效率更高更便宜 — scaling01 · 2026-10-29
- 前 OpenAI 研究员发 2.6 万字长文：神经网络黑箱论可能错了 — CurieuxExplorer · 2026-10-29
- Rust 视觉定位库 visloc-rs 破 150 星，集成 3DGS 与 SLAM — rsasaki0109 · 2026-10-29
- Anthropic 提出 GRAFT:删除参数而非惩罚,治奖励作弊 — dl_weekly · 2026-10-29
- 前 Google 研究员创 Elorian 推视觉推理模型,前沿模型数数不过半 — Latent Space · 2026-10-29
- TMLR 审稿人出走：AI slop 泛滥与激进 desk reject 引发学界争议 — miniapeur · 2026-10-29