整只 SmolLM-135M 跑进 SQLite:分词、Transformer、KV cache 全是 SQL
cneuralnetwork · x · 2026-11-07
项目亮点
- 完整流水线:Unicode 预分词 → byte-level BPE → embedding → 30 层 Transformer → final norm → 49,152 logits,全部用 SQL 语句、视图和触发器实现,含 KV cache 与贪心解码,CLI 可流式输出文本。
- 零宿主语言:直接从 HuggingFace safetensors 加载官方 HuggingFaceTB/SmolLM-135M 权重进 SQLite,不用任何 Python、JavaScript 或扩展函数,sqlite3 命令行只是 SQL 运行器。
- 代价是速度:实测约 40 秒才生成一个 token,输出上限 1–8 个 token,更像极限工程展示而非实用工具。
附带了 prompt 输入与实时输出的 dashboard 界面,仓库已在 GitHub 开源。
所属事件:极客用纯 SQL 在 SQLite 中实现 SmolLM-135M 推理(2 条相关)→
「Fun」频道最新
- AI agent 待办清单梗：修 bug、画鹈鹕、证明黎曼猜想、治愈癌症并列 — fofrAI · 2026-11-07
- fofr 晒周末玩 Argon：模型直接产出相对论光谱推导级内容 — fofrAI · 2026-11-07
- 开发者手绘 AI 时间线:开源曲线将在今天后反超闭源 — victormustar · 2026-11-07
- 开发者晒 AI 生成动作 RPG 概念图：双视角切换加五张关卡地图 — Dimillian · 2026-11-07
- Yudkowsky 虚构虚构国用自指语言 LeanRustLisp 弥补算力不足 — burny_tech · 2026-11-07
- Canva 裁员后领丰厚补偿还发正能量帖,澳洲 LinkedIn 遭群嘲 — gaganghotra_ · 2026-11-07