成功逆向 Claude 分词器：词表缩减至 1.5 万，但推理成本反增
kalomaze · x · 2026-08-14
开发者成功逆向并完全复现了 Anthropic 的 Claude 分词器（ctok）。该工具能在离线状态下精确还原 500 多种自然语言和 22 种编程语言的 token 计数。
核心数据与发现：
- 词表大幅缩减：Claude v3 的词表约为 4.9 万，而最新的 v4.7（对应 Claude 5）预计仅剩约 1.5 万（包含部分图像 token）。
- 成本代价：虽然 Claude 5 的词表比 OpenAI 的 o200k 小约 12 倍，但在相同样本下，其输出的 token 数量却是后者的 1.24 至 2.44 倍。
- 计费影响：由于 Claude Opus 5 与 GPT-5.6 Sol 的输入单价均为 $5/百万 tokens，这意味着在同等文本下，Claude 5 的实际计费 token 数更高，直接推高了用户的 API 成本。
「模型」频道最新
- 前微软高管称初测 Argon 数学能力强劲、后训练一流 — MParakhin · 2026-10-16
- ThursdAI 纽约现场版上线：Meta Muse Wonder 与 Gemini 4 Argon 专场 — altryne · 2026-10-16
- Claude 已主导 Anthropic 26% 模型研发，2 月还不足 1% — altryne · 2026-10-16
- 用户设计「永远只说谎」测试,模型明确拒绝接受为永久规则 — Tischler285 · 2026-10-16
- Reddit 长文给 AGI/RSI/ASI 下硬定义:称 GPT-6 已达 AGI 门槛 — Crayola_God · 2026-10-16
- 「小型 Claude 羞耻」引热议：让 Opus 4.7 知道你是谁或许更好 — repligate · 2026-10-16