独立开发者 3 年半自研 Leviathan 本地 LLM 推理套件开源

The-world-is-a-stage · reddit · 2026-10-25

一位自费开发 3.5 年的作者发布 Leviathan：一套纯本地 LLM 推理工具集，模型直接跑在 GPU 上，中间没有 server、不依赖 llama.cpp 或 LM Studio。作者为此手写 CUDA 内核，覆盖各种量化和全精度变体，并把 30 多个自研架构合并进一个程序，包含自研的 merge 工具（替代 mergekit，可预览 merge 结果）。源于 2023 年做 VS Code 持久记忆桥接的经历。项目已在 GitHub 免费开源，并附 Hugging Face Space。