Java 推理框架 jitLLM 宣称达 llama.cpp 90% GPU 性能
mikebmx1 · reddit · 2026-10-08
Reddit 用户介绍 King's College London 团队的 beehive-lab 项目：TornadoVM 是一个把 Java 编译到 CUDA/cuTile 的引擎，其上的 jitLLM 推理框架宣称在 NVIDIA GPU 上本地推理性能达到 llama.cpp 的 90%。帖子附 GitHub 仓库和一个深入讲解的 YouTube 演讲链接，对想在 JVM 生态做本地推理的开发者是新选项。
「Infra」频道最新
- IBM 将 Spyre AI 加速器接入 PyTorch,借原生设备抽象实现一套框架多硬件 — PyTorch · 2026-10-08
- audio.cpp 大更新：Higgs Audio TTS 显存省 48%，支持 110+ 音频模型 — Acceptable-Cycle4645 · 2026-10-08
- 南亚 7 月营收环比涨 49.3%:合约到期重签成涨价主因 — tengyanAI · 2026-10-08
- 三星涨价最猛却签 5 年长约:关键在重定价机制而非锁价 — tengyanAI · 2026-10-08
- 别直接比 DRAM 涨幅:TrendForce 口径不含 HBM,厂商 ASP 混合不同 — tengyanAI · 2026-10-08
- 攻击者跨多家推理服务商作案,Hugging Face 职工呼吁联合封禁机制 — natolambert · 2026-10-08