Vercel 的 WebGPU 语法高亮器重训后,准确率升至 92.2%

shuding · x · 2026-11-15

Vercel 工程师 shuding 发布了 gpu-lexer v0.0.5:一个用 WebGPU 驱动、语言无关的语法高亮器,用一个小型学习模型替代传统语法规则包,无需按语言加载 grammar,输出可直接用于显示的源码 span。

本次重训后,Top 25 语言的加权准确率从 86.77% 提升到 92.20%。项目已在 GitHub 开源(MIT 协议,现 92 star),API 只导出一个 parse(code) 函数,要求浏览器支持 WebGPU 并在安全上下文运行;返回 UTF-16 偏移量,与 JavaScript 字符串切片直接兼容。作者欢迎用户提交失败用例的 issue,以便继续微调模型。