开发者推出 token 等宽字体工具,直观展示 AI 眼中的文本
9 月 26 日,@amplifiedamp 发布了与 Astra 合作开发的「token 空间字体」及配套编译工具,让人能直观看到大模型眼中的文本切分方式。
已确认
- 作者发布了一个「Token-space font compiler」网页工具:输入任意基础字体与 tokenizer,即可编译出每个 token 等宽的字体,使文本在模型的 token 网格上等宽渲染。玩法已开源上手。
- 作者同步提供教程,可将这类专用字体安装进 Discord 和 Slack,让用户按 AI 实际书写的方式(而非渲染后的效果)阅读 AI 输出。
- 材料提及模拟 AI 输出排版风格的字体,如 poolside 的 Laguna、Arcee 的 Trinity;作者称测试显示 Laguna 字形对 AI 输出样式的还原度约 92%(在 Project 相关测试环境下)。
- 作者提醒:GLM-5 和 LLaMA 3 的等宽化效果仍不太可靠;列出的其他大部分 tokenizer 可用(具体范围以工具页面为准)。
为什么重要
- 该项目的动机是帮助人们理解模型的各种「怪癖」——例如模型分不清 strawberry 中字母数量——往往源自 tokenization 而非模型能力本身。等宽 token 字体把这一抽象机制可视化,成为理解模型行为的教学与调试工具。
- 作为早期原型,它也为研究 token 边界对模型表现的影响提供了直观实验材料。
2026-09-26 ~ 2026-09-26 · 5 条相关
一手来源
- 把字体按 tokenizer 等宽化,直观展示模型为何分不清 strawberry — amplifiedamp ·
- 把每个 token 做成等宽的字体会是什么样?他做了个原型 — amplifiedamp · 2026-09-26
- 【源头】把字体按 tokenizer 等宽化,直观展示模型为何分不清 strawberry — amplifiedamp · 2026-09-26
- 用 tokenizer 合成 token 空间字体,玩法开源上手 — amplifiedamp · 2026-09-26
- 做了一款字体,让你看到 AI 输出的真实书写格式 — amplifiedamp · 2026-09-26
- AI 专用字体来了:Laguna 字形 92% 还原 AI 输出样式 — amplifiedamp · 2026-09-26