自研 Rust 引擎单卡跑 524k 上下文,速度远超 llama.cpp
开发者用自研 Rust/Vulkan 推理引擎 LexiSuite/LexiEngine 在单张 RX 7900 XTX(24GB)上运行 Inkling-2-Mini(17.6GB,专家层保留 Thinking Machines 原 4-bit 格式),实现 524,288 token 的超长上下文推理,速度达到 llama.cpp 的 3 至 5 倍。
2026-11-22 ~ 2026-11-22 · 2 条相关
- 自研 Rust 引擎单卡跑 524k 上下文,速度是 llama.cpp 的五倍 — W61k3r · 2026-11-22
- 单张 RX 7900 XTX 跑 524k 上下文:自研引擎比 llama.cpp 快 3 倍 — W61k3r · 2026-11-22