单卡 5090 跑 DeepSeek 256k 上下文:Rust 推理引擎 QuixiInfer 达 25-30 tok/s

hotschmoe · x · 2026-11-20

开发者 QuixiAI 发布 QuixiInfer——一个从零用 Rust 编写、高度优化的推理引擎,可在单张 GPU 上运行 DeepSeek-v4.1-Flash-1017 并支持 256k 上下文。

关键数据与设计:

所属事件:Rust 手写推理引擎 QuixiInfer 单卡 5090 跑 DeepSeek(3 条相关)→

原文链接 →