Simon Willison 发布 ttok 1.0:实验证实 GPT-6 与 GPT-5 系列分词器相同
Simon Willison · rss · 2026-10-09
Simon Willison 发布其命令行分词工具 ttok 1.0,起因是他升级到 0.4 后发现默认分词器还是 GPT-4 的,理应换成 GPT-5/GPT-6 家族——这个默认值切换成了发布 1.0 的契机。
- OpenAI 尚未官方确认 GPT-6 与 GPT-5 系列使用相同分词器(相关 issue 里还有争论)
- William Liu 的实验 commit 提供了证据:GPT 5.5、5.6(Sol/Terra/Luna)与 6(Astra/Sol/Luna)共七个模型在 31 个测试样例上全部输出相同的 44,794 tokens,逐一对齐
- 结论:GPT-6 在该语料上没有引入任何输入计数变化,分词器大概率沿用 GPT-5 家族
「模型」频道最新
- 用户晒 Grok 用量截图：太好用到一周额度被刷爆 — mhdfaran · 2026-10-23
- AI 发现 PHP2Shell 高危漏洞,波及全球约 70% 网站 — AIFlow_ML · 2026-10-23
- OpenAI 客服误取消订阅，用户为 48 个月促销被作废多付约 1100 美元 — Tile124 · 2026-10-23
- SemiAnalysis 实锤:Anthropic 正 A/B 测试降低约 20% 用量额度 — imjustnewatai · 2026-10-23
- Swift-1.5-Qwen3.8-27B 移植 hipfire：7900 XT 上端到端快 2.2 倍 — Queasy_Asparagus69 · 2026-10-23
- Boundless 推出去除拒答的 DeepSeek V4.1 Flash,专供防御性安全测试 — MoonL88537 · 2026-10-23