用 tokenizer 合成 token 空间字体,玩法开源上手

amplifiedamp · x · 2026-09-26

作者做了一个网页工具,可以把任意基础字体与 tokenizer 组合,生成「token 空间字体」——即在模型的 token 网格上渲染文字的字体。

作者提醒:GLM-5 和 LLaMa 3 的效果仍不太可靠;其他列出的大部分 tokenizer 准确率在 99% 以上,但在合并规则、文本换行、Unicode 支持和字距(kerning)等边界情况仍有罕见问题,作者戏称「在乎这些的话请明天再来」。

所属事件:token 等宽字体工具问世,直观展示模型眼中的文本(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →