Java 22 里直接跑本地 LLM
KingJoker · hn · 2026-07-14
作者做了一个在 **JVM 内运行本地 LLM** 的方案，核心是用 **OpenJDK Panama FFM** 直接对接 `llama.cpp`，而不是走传统 REST sidecar。 主要实现点： - 从 sidecar 改为直接调用原生库 - 又封装了 `libargus.cc`，在 JVM 侧提供更干净的结构化 ABI - 继续通过 Panama 接入 `llama.cpp`、`whisper.cpp` 和 `ggml` - 热路径做到 **零分配**，prompt 和 token 的内存只分配一次 - 通过映射 native 结构、匹配编译器 padding，保证安全访问 - 还把预编译原生二进制打包进 jar，方便部署 作者还提到，当前引擎是他后续做一个时空记忆层（L-TABB）替代 RAG 的基础，并欢迎对 Panama 或低延迟系统提出技术反馈。