「The Token Game」:把 BPE 分词做成了手机小游戏
sakshjn · x · 2026-10-16
一款名为 The Token Game 的小游戏把 BPE 分词机制变成了手游玩法,作者自嘲「这东西根本没理由存在,而且我玩得很烂」。在(srushnlp 讨论中)关于「连续三个相同字符算两对还是一对」的规则细节也引发了一轮讨论。
sakshjn · x · 2026-10-16
一款名为 The Token Game 的小游戏把 BPE 分词机制变成了手游玩法,作者自嘲「这东西根本没理由存在,而且我玩得很烂」。在(srushnlp 讨论中)关于「连续三个相同字符算两对还是一对」的规则细节也引发了一轮讨论。