Transformer Explainer 拆解 GPT-2 分词: visualization 要切成两个 token

petrusenko_max · x · 2026-09-22

作者介绍了 Transformer Explainer 这款可视化工具：它基于 GPT-2 small（1.24 亿参数、50257 词表）运行。在其示例提示词里，「Data」和「visualization」各是单个 token，而「empowers」会被拆成两个 token，直观展示了分词器的不规则性。

原文链接 →

「模型」频道最新

• 用户吐槽 Claude xhigh/ultracode 模式比 opus high 更急躁烦人 — MarvinTBaumann · 2026-09-22
• 模型图表重绘能力明显进步，博主长期测试首见惊艳结果 — Wattenberger · 2026-09-22
• 马斯克晒 Grok 4.7 在 Tesla 干真工程，FSD 功能靠过夜 agent 交付 — elonmusk · 2026-09-22
• 开发者实测 Qwen3.8-max-preview xhigh:连续跑了近 24 小时额度未尽 — jasonkneen · 2026-09-22
• 马斯克官宣 Grok 4.7,演示分钟级生成 3D 喷气引擎交互可视化 — elonmusk · 2026-09-22
• GPT-6 Sol、Luna 与 Astra Minor 曝现身 Azure 模型配置 — 141_1337 · 2026-09-22

更多「模型」频道 AI 资讯 →