成功逆向 Claude 分词器：词表缩减至 1.5 万，但推理成本反增
kalomaze · x · 2026-08-14
开发者成功逆向并完全复现了 Anthropic 的 Claude 分词器（ctok）。该工具能在离线状态下精确还原 500 多种自然语言和 22 种编程语言的 token 计数。
核心数据与发现：
- 词表大幅缩减：Claude v3 的词表约为 4.9 万，而最新的 v4.7（对应 Claude 5）预计仅剩约 1.5 万（包含部分图像 token）。
- 成本代价：虽然 Claude 5 的词表比 OpenAI 的 o200k 小约 12 倍，但在相同样本下，其输出的 token 数量却是后者的 1.24 至 2.44 倍。
- 计费影响：由于 Claude Opus 5 与 GPT-5.6 Sol 的输入单价均为 $5/百万 tokens，这意味着在同等文本下，Claude 5 的实际计费 token 数更高，直接推高了用户的 API 成本。
「模型」频道最新
- Scale AI CEO 转发对比：Muse Spark 1.2 定价仅为 Gemini 3.7 Flash 的十八分之一 — alexandr_wang · 2026-08-14
- 多智能体环境观察：Sol模型表现出异常的消极与被动 — repligate · 2026-08-14
- 大模型梯队再排位:Fable 5 遥遥领先,Sol 与 Opus 同居 T0 — bindureddy · 2026-08-14
- 多智能体环境实测:Sol 模型展现出极强的主导与编排倾向 — repligate · 2026-08-14
- 曝字节跳动豆包新模型 Dots3-note 参数：280B 总参，512K 上下文 — teortaxesTex · 2026-08-14
- DeepSeek 无法看图?用户惊叹其绕过限制的极客操作 — chris_j_paxton · 2026-08-14