Rust 推理引擎 Kinetic 实测 0.13 秒答 2.2 万 token 文档,比 llama.cpp 快 84 倍

jasonkneen · x · 2026-11-12

新开源 Rust 推理引擎 Kinetic 在低端本地硬件(RTX 3060 6GB + Ryzen 5 6600H)上展示惊人速度:粘贴 22,631 token 文档后提问,llama.cpp 需 10.95 秒,Kinetic 仅 0.13 秒。关键在于它在用户还在打字时就开始预处理文档,把计算挪进了打字时间内。另有独立文件改写测试。开发者 Jason Kneen 已提交 macOS Apple Silicon 支持的 issue 和 PR:在 M3 Max CPU 上跑通(约 5 token/s),补齐 NEON 量化内核(Q4KQ80)、f16/bf16 点积、CLI 等 27 个文件约 1500 行改动,项目路线图原未计划 macOS。