Vercel 开源 gpu-lexer：27.5KB 小模型借 WebGPU 做语法高亮
Vercel 工程师 Shu Ding 在 Vercel Labs 名下开源实验项目 gpu-lexer：一个仅 27.5KB、运行在 WebGPU 上的小型模型，可在浏览器内做语法高亮，项目定位为学习性质的实验。
已确认
- 模型语言无关，不依赖语法规则，而是根据局部与整文件上下文猜测代码语法；模型本体约占整个库体积的 70%，直接内联在 bundle 中。
- 训练覆盖 50 多种语言，作者称对训练集之外的语言表现也尚可；以 Shiki（基于真实 AST 的业界金标准）为基准，对比了 GitHub 上最热门 25 种语言的加权正确率。
- 性能优势主要归功于 WebGPU：源码越大优势越明显，且不阻塞主 CPU 线程。
- 作者自述造轮子的动机是多年痛点：语言 grammar 包体积巨大、语言检测与动态加载复杂、现有方案性能差且拖慢主应用。
尚未确认
- 具体正确率数字与各语言表现细节未在材料中给出，加权正确率的实际数值需查阅项目原文。
为什么重要
- gpu-lexer 展示了「小模型 + WebGPU」替代传统正则/AST 高亮管线的可能性，兼顾体积与性能，对浏览器端代码展示场景（如文档站、在线编辑器）有参考价值。但作者本人也提醒，各高亮器的管线与使用场景各不相同，该实验项目尚不能完全替代 Shiki 等现有方案。
2026-09-08 ~ 2026-09-09 · 7 条相关
一手来源
- Vercel 实验项目 gpu-lexer:27.5KB 小模型借 WebGPU 在浏览器做语法高亮 — shuding ·
- 用小模型替代正则做语法高亮，正确率对标 Shiki — shuding ·
- gpu-lexer 作者补充:训练覆盖 50+ 语言,模型本体约占库体积 70% — shuding ·
- 【源头】Vercel 实验项目 gpu-lexer:27.5KB 小模型借 WebGPU 在浏览器做语法高亮 — shuding · 2026-09-08
- gpu-lexer 性能细节:WebGPU 加速、不阻塞主线程,但尚不能替代现有高亮器 — shuding · 2026-09-08
- 【源头】gpu-lexer 作者补充:训练覆盖 50+ 语言,模型本体约占库体积 70% — shuding · 2026-09-08
- 【源头】用小模型替代正则做语法高亮，正确率对标 Shiki — shuding · 2026-09-08
- Vercel 工程师自述造语法高亮轮子：与 Shiki 逐 span 对比正确性 — shuding · 2026-09-08