Vercel 实验项目 gpu-lexer:27.5KB 小模型借 WebGPU 在浏览器做语法高亮
shuding · x · 2026-09-08
Vercel 工程师 Shu Ding 发布 Vercel Labs 实验项目 gpu-lexer:一个仅 27.5KB、运行在 WebGPU 上的小型模型,用于浏览器内语法高亮,且语言无关——不依赖语法规则,而是让模型根据局部与整文件上下文猜测每个片段的类型(关键词/字符串/注释等)。
- 原理:先把源码切成词、空白、换行、符号,再用 WebGPU 小模型给每段打标签,相邻标签合并为高亮 span;对训练时从未见过的语言也能工作。
- 性能:对 5.56M 字符的 three.min.js 十连拷贝,浏览器内一次运行 471.7ms,远快于 Prism.js(1.20s)、Shiki(30.4s);且不阻塞主线程。
- 局限:与 Shiki 相比,留出文件上约 12.57% 的 token 标签不一致;该指标只衡量与 Shiki 的一致性而非客观正确性,未见语言差异可能更大。
- 定位为学习用实验,尚不能完全替代现有高亮器。
所属事件:Vercel 开源 gpu-lexer：27.5KB 小模型用 WebGPU 做语法高亮(9 条相关)→
「编程与Agent」频道最新
- huggingface_hub 2.3.0 发布：百万文件列取从分钟级降到 20 秒 — lhoestq · 2026-10-27
- Nous Research 发布 Advanced Delegation 插件，子智能体可按任务选模型 — NousResearch · 2026-10-27
- 不上 X 的牙医邻居玩转 Codex，编程门槛正在消失 — gabrielchua · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
- a16z长文:从PC到表格到邮件,「先混乱后驯服」是颠覆技术定律 — a16z Newsletter · 2026-10-27