电报码的历史正在重演：非英语语言最多要多付 17 倍 token

demian_ai · x · 2026-11-10

作者类比 1870 年代中文电报码与今天 LLM 的 token 计费，指出网络基础设施总是按建设者的语言单位定价。

历史：摩斯电码围绕英语设计，常用字母 E 只需一个点；1871 年的中文电报码给每个汉字编一个四位数字，每位要打五个点划，一个字发出二十个信号——同样 25 个词的报文，中文编码约需半小时，英文只要两分钟。
今天：LLM 按 token 计费，而 tokenizer 主要从英语和拉丁字母网络文本学习分块，其他语言被切得更碎、要为更多 token 付费。在线前 20 大语言中，最贵语言所需 token 是最便宜的 1.5–5 倍；200 种语言中某模型差距达 17 倍。
连带影响：token 更多意味着上下文窗口装得更少、回答更慢。文字系统的影响大于语言稀有程度——缅甸语、藏语、高棉语、老挝语最吃亏。

结论：每个网络的计价单位由建造者决定，使用其他单位的人都要付差价，直到有人重新设计这套编码。

「漫话AGI」频道最新