聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token

kalomaze · x · 2026-10-23

kalomaze 分享了一个有趣的实证观察：把 Google、DeepSeek、Meta、Anthropic 等实验室的 tokenizer 聚合起来，筛选出在所有 BPE 类分词器中都存在（包括跨 Anthropic 不同模型代际）的 token 子集，最终得到约 994 个几乎总是被保留的「专用 token」，如 town、System、new、React、def 等。这类跨模型、跨代际稳定的 token 反映了各家分词器在常见子词切分上的共性。

原文链接 →

「研究」频道最新

• GenRobot.AI 发布 600 小时全身操作数据集，含 1281 种人类技能 — AdinaYakup · 2026-10-23
• Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23
• 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
• UCSD SplatLab:一条 prompt 自动复现并撰写 3DGS 研究 — UCSanDiego · 2026-10-23
• RTAformer 提出「关系语义惯性」解法,攻克视频场景图生成难点 — Jaeyeon Heo · 2026-10-23
• MambaAct 用 Mamba 替换 VLA 动作专家,延迟降 59% 成功率反升 — MBZUAI · 2026-10-23

更多「研究」频道 AI 资讯 →