无需 LLM:作者用本地 bge-small 实现零成本语义 emoji 搜索

maxleiter · x · 2026-09-27

作者 Max Leiter 回应 Linear 把 LLM（文中称 Jev）接入 emoji 选择器的热议，认为把 LLM 当锤子、把所有分类任务当钉子是误用。他两年前就做过无 LLM 的语义 emoji 搜索：用 bge-small-en-v1.5（约 37MB）在浏览器端本地运行，模型下载一次后缓存，每次搜索零推理成本，比 LLM 方案更快、更便宜，偶尔效果还更好。他的结论是：只有当决策背后需要 LLM 推理时才该上 LLM，embedding 加 pgvector 这类方案对 emoji 搜索这类任务就已足够，文章页面还提供本地/Embeddings API/Jev 三种方案的实时成本对比 demo。