网友逆向发现:jev 分词器疑似 Qwen3.5 切分器加裁剪版 o200k BPE

airesearch12 · x · 2026-09-24

开发者 can1357 分析称,jev 的 tokenizer 疑似是基于裁剪版 o200k BPE 之上、采用 Qwen3.5 的 splitter 组合而成,并指出需要 token 计数功能的人可以查看 omp/main 的实现。作者表示明天会写更详细的分析文章。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →