本地 LLM 持久化聊天方案求助
whatyathinkk · reddit · 2026-07-16
作者在寻找适合本地模型的**持久化聊天/项目管理**方案：希望像大厂产品那样，有侧边栏、多会话、项目组织，并且能直接跑在 `llama.cpp` 上。 他提到自己在用 `llama.cpp`、`oh-my-pi` 和 `Hermes`，觉得这些方案在持久化体验上不够好；最近发现 `jan.ai` 似乎是一个不错的开源选择，能很好地叠在 `llama.cpp` 上，但代价是会失去 `omp/hermes` 的 agentic 能力，因此在询问是否有办法把两者整合，或是否还有类似 `jan.ai` 的替代方案。