极客用纯 SQL 在 SQLite 中实现 SmolLM-135M 推理

有极客用纯 SQL 在 SQLite 中实现了 135M 参数小模型 SmolLM-135M 的完整推理流水线，涵盖 Unicode 预分词、byte-level BPE 分词、embedding、30 层 Transformer 以及 KV cache 等全部环节。不过推理速度极慢，约 40 秒才能输出一个 token，该项目更多属于极限工程的玩梗尝试，相关仓库已在 GitHub 上公开。

2026-11-07 ~ 2026-11-07 · 2 条相关

• 极客把 SmolLM-135M 塞进纯 SQLite：40秒才吐一个 token — cneuralnetwork · 2026-11-07
• 整只 SmolLM-135M 跑进 SQLite:分词、Transformer、KV cache 全是 SQL — cneuralnetwork · 2026-11-07