Vercel 工程师开源 GPU Lexer v0.0.5:WebGPU 语法高亮准确率升至 92.2%
shuding · x · 2026-11-15
Vercel 工程师 shuding 发布 gpu-lexer v0.0.5,重训模型后 Top 25 语言的加权准确率从 86.77% 提升到 92.20%。
- 原理:工具先把源码切成词、空白、符号等简单片段,再用一个微型 WebGPU 模型结合局部与整文件上下文为每个片段标注类型(注释/字符串/关键字/函数等),不依赖特定语言文法,对训练时从未见过的语言也能猜测标注。
- 性能:高亮 10 份拼接的 three.min.js(约 556 万字符)仅需 75.3ms,比 Shiki(30.4s)快约 400 倍;库体积远小于 Prism.js、Highlight.js 等传统方案。
- 定位:作者强调这是实验项目,与 Shiki 的一致率不等于客观正确,未见语言和真实代码上表现可能有差异。
所属事件:Vercel 工程师开源 gpu-lexer,语法高亮准确率升至 92.2%(2 条相关)→
「编程与Agent」频道最新
- Dynalist MCP 服务器上线:让 Claude 直接读写大纲文档 — modelcontextprotocol · 2026-11-15
- PayPal MCP 连接器发布:AI 助手可只读查询交易与发票 — modelcontextprotocol · 2026-11-15
- rea+mitmproxy 组合技：用 Claude Code 一键揪出 App 偷传的数据 — Kyrannio · 2026-11-15
- vibecoding 低谷论：没人审的 PR 正在搞垮关键基础设施 — nptacek · 2026-11-15
- Amp 团队每周只开一次会：Thorsten Ball 详解周一会议流程 — vincent_koc · 2026-11-15
- Meta 编程 agent Muse 事事请示 GitHub 操作,用户不堪其扰 — koltregaskes · 2026-11-15