自研 Rust 引擎单卡跑 524k 上下文,速度是 llama.cpp 的五倍

W61k3r · reddit · 2026-11-22

作者用自研 Rust/Vulkan 推理引擎 LexiEngine 在单张 RX 7900 XTX(24GB)上运行 Inkling-2-Mini,实现 524,288 token 上下文:4k 提示下 prompt 2,245 tok/s、生成 52.4 tok/s,对比 llama.cpp(425/25.4)快约 5 倍;llama.cpp 在 262k 提示下 55 分钟未能完成,LexiEngine 仅需 3 分 48 秒。

关键细节

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →