用小模型替代正则做语法高亮，正确率对标 Shiki
shuding · x · 2026-09-08
开发者 shuding 介绍一个用机器学习模型做代码语法高亮的方案：以业界金标准 Shiki（基于真实 AST）为基准，对比了 GitHub 上最热门的 25 种语言的加权正确率。模型用 50+ 种语言训练，对训练集之外的语言表现也尚可，且模型体积仅约占整个库的 70%，直接内联进 bundle。相比传统正则/词法方案，这种方式有望在体积可控的前提下提升高亮准确性。
所属事件:Vercel 开源 gpu-lexer：27.5KB 小模型用 WebGPU 做语法高亮(9 条相关)→
「编程与Agent」频道最新
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- AustinLangChain 分享 RAG 变体：预计算黄金答案运行时精确匹配 — colinmcnamara · 2026-10-27
- 预计算标准答案：团队重复问答的缓存式解法 — colinmcnamara · 2026-10-27
- 开发者观点：与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27
- Gradio 推 ML Intern 人工介入：训练前可暂停审核数据 — Gradio · 2026-10-27