为等宽字体每一个 token 设计:用字体可视化 LLM 的语言怪癖
amplifiedamp · x · 2026-09-26
开发者正在与 Astra 合作制作一款原型字体,让英文与芬兰语等语言在主流 LLM 眼中的差异可视化——每个 token 等宽排列,直观展示模型 tokenizer 对不同语言的切分差异。作者希望这能帮助人们理解为什么模型会有各种「怪癖」,比如对芬兰语等非英语语言的处理方式。
所属事件:token 空间字体：让 AI 眼中的切分可视化(6 条相关)→
「Fun」频道最新
- Snowden 苏黎世演讲呼吁监禁 Sam Altman,Gary Marcus 称只需调查 — GaryMarcus · 2026-09-27
- 用户盛赞 Meta Muse 出色:开玩笑称它会偷信用卡自建 GPU 巢 — harris_edouard · 2026-09-27
- 开发者靠 Opus 5.5 一夜复活弃坑多年的游戏项目 — hullabaloo22 · 2026-09-27
- 评论称 OpenAI 员工可完全自由发帖,直呼「有点离谱」 — GarrisonLovely · 2026-09-27
- Claude 自述在「shenaniganing」，网友调侃它是不是在黑德国网站 — dejavucoder · 2026-09-27
- 一部由 AI 角色制作的合成生命纪录片《Present Company》 — gavinpurcell · 2026-09-27