Vercel 实验项目 gpu-lexer:27.5KB 小模型借 WebGPU 在浏览器做语法高亮
shuding · x · 2026-09-08
Vercel 工程师 Shu Ding 发布 Vercel Labs 实验项目 gpu-lexer:一个仅 27.5KB、运行在 WebGPU 上的小型模型,用于浏览器内语法高亮,且语言无关——不依赖语法规则,而是让模型根据局部与整文件上下文猜测每个片段的类型(关键词/字符串/注释等)。
- 原理:先把源码切成词、空白、换行、符号,再用 WebGPU 小模型给每段打标签,相邻标签合并为高亮 span;对训练时从未见过的语言也能工作。
- 性能:对 5.56M 字符的 three.min.js 十连拷贝,浏览器内一次运行 471.7ms,远快于 Prism.js(1.20s)、Shiki(30.4s);且不阻塞主线程。
- 局限:与 Shiki 相比,留出文件上约 12.57% 的 token 标签不一致;该指标只衡量与 Shiki 的一致性而非客观正确性,未见语言差异可能更大。
- 定位为学习用实验,尚不能完全替代现有高亮器。
所属事件:Vercel 发布 27.5KB 浏览器端 WebGPU 语法高亮小模型(6 条相关)→
「编程与Agent」频道最新
- 开源 agent 框架 TrueForge 发布，把 LLM 变成可运行的智能体 — dr_cintas · 2026-09-09
- Vercel 开源 gpu-lexer：27.5KB 小模型靠 WebGPU 在浏览器猜代码语法 — shadcn · 2026-09-09
- Reddit 网友实践:AI 记忆该留「变化」而非全量文件 — Artistic-Home5719 · 2026-09-09
- 开发者给 AI agent 会话做 RTS 界面，「Harvestors」指挥系统上线 — davidhoang · 2026-09-09
- State Machines 发布企业级 agent 测试环境：可并行跑数千个有状态 API 副本 — SimplyAnnisa · 2026-09-09
- Openclaw 沙箱设计澄清:托管会话沙箱,Docker Sandbox 是理想搭档 — steipete · 2026-09-09