研究称非英语用户承担“分词器税”:200 种语言成本差最高 17 倍
alexvoica · x · 2026-10-27
Rest of World 报道了 AI 语言公平研究联盟上月发布的一项研究：AI 模型处理不同语言所需的 token 数差异巨大，小语种用户实际为同样的内容支付更多费用——研究者称之为隐性“分词器税”（tokenizer tax）。
- 在互联网最常用的 20 种语言中，最贵语言的 token 消耗已是最低的 1.55 倍
- 扩展到 200 种语言后，某模型的语言间 token 成本差距扩大到 17 倍
- 原因在于 tokenizer 对非拉丁文字（如马拉雅拉姆语等多字节字符）按碎片切分，同样一句话消耗远多于英文
研究指出这不仅是费用问题：更多 token 意味着同样的上下文窗口装不下多少内容，模型效果也被压缩。报告举例称班加罗尔的初创公司每一次调用都在“加税”，而奥斯汀的竞争对手则不必。
「模型」频道最新
- AA 榜单 v5.0 引争议：最具吸引力象限零个开源权重模型 — Realistic_Gap_5871 · 2026-10-28
- LiquidAI LFM3-Omni-2B 登上 Hugging Face 热榜 — LiquidAI · 2026-10-28
- 创业者吐槽：当前 AI 模型写作烂得「令人尴尬」 — AndrewSchmidtFC · 2026-10-28
- 博主弃用自建 Elo 榜转投 ECI，自建 Glicko-2 榜仍称 Gemini 2.5 Pro 居首 — scaling01 · 2026-10-28
- 用户发现 ChatGPT 悄悄回归 5.6 Sol，音频转写强于 GPT-6 — tunerhd · 2026-10-28
- 谷歌发布 Genie 4 交互世界模型,GPT-6.1 Terra 降价五成上线 — testingcatalog · 2026-10-28