UTF-8 编码隐性偏袒拉丁语系：天城文词汇字节数可达罗马化的 4 倍
rdesh26 · x · 2026-11-08
作者重读 Albert Gu 等人的 H-Net（byte-level）论文时提出一个有趣观察：字节级模型里，UTF-8 的编码顺序让拉丁语系天然更「便宜」。
- 拉丁字符「A」(U+0041) 只占 1 字节，而天城文「क」(U+0915) 占 3 字节。
- 更隐蔽的是形态学损失：印地语辅音自带隐含元音（क = k + a），构成合体字时元音脱落，但 UTF-8 会把「क + ्」展开占 6 字节；「क्या」（意为 what）最终占 12 字节，而转写「kya」只需 3 字节。
作者认为问题根源在于这些语言的数字编码方式本身，暗示 byte-level 模型可能对不同文字系统存在系统性学习难度差异。
「研究」频道最新
- DeepMind 高管预告：科学发现速度正迎来真正相变，数周内见成果 — Scobleizer · 2026-11-08
- MLIP Mena 大原子模型可在笔记本上直接跑分子模拟 — CatAstro_Piyush · 2026-11-08
- 一张图看懂主流开源模型的注意力机制：全注意力、滑窗与线性混合并存 — burny_tech · 2026-11-08
- 3000 人步态训练基础模型：走路方式可预测 1887 项身体性状 — segal_eran · 2026-11-08
- 数学家 Tivadar Danka 出机器学习数学全景路线图：线代+微积分+概率 — TivadarDanka · 2026-11-08
- Nous Research 发布 Propaganda_Eval 评测数据集,登上 Hugging Face 热门 — NousResearch · 2026-11-08