开源方案笔记本 CPU 每秒分类 5k 文档，成本仅 LLM 百分之一

josh_wills · x · 2026-10-29

DatologyAI 开源了 Luxical——基于词数、TF-IDF 与紧凑稀疏转稠密 MLP 的快速词法嵌入库（Apache-2.0，已登陆 HuggingFace）。

配套讨论给出了替代 LLM 做文档分类的便宜路线：用开源/廉价 embedding 模型 + 上面 sklearn 式分类器，通常比直接调 LLM 更便宜也更准。配图实测：M4 Max CPU 上 Luxical 嵌入 + MLP 分类吞吐达 6787 docs/s（23.1 MiB/s），约为 GPU 上 FineWebEdu scorer（478 docs/s）的 14 倍；Regex+FastText 方案也有 5590 docs/s。Luke Merrick 还补充：在 Luxical 嵌入上加两层 ReLU 网络，纯 OSS 即可在笔记本 CPU 上每秒分类 5k 文档，比原方案再便宜 100 倍。