为机器造一套外星字母表：8192 字形可逆分词器开源

beffjezos · x · 2026-10-11

受 Grimes 新 MV《Accelerando》中外星字母启发，作者构建了 glyph8192：一套完整的 8,192 个原创「外星」字形，配上一个可逆的自定义字节对(BPE)分词器，让机器直接在 token 空间「书写」而非依赖拉丁字母。

技术要点：token ID 与字形 ID 全程一一对应；分词器取自 o200kbase 前 8,192 个可合并秩，保留其预分词模式和全部 256 个字节值（并非 OpenAI 完整分词器）；无需 embedding 或模型推理即可编解码。项目提供可搜索字符档案、浏览器本地编码器、可下载字体与图集，以及歌词编码示例。