Rust 从零写的 QuixiInfer:单张 5090 跑 DeepSeek 256k 上下文达 30 tok/s

QuixiAI · x · 2026-11-20

开发者 QuixiAI 发布自研推理引擎 QuixiInfer,用 Rust 从零实现,可在单张 RTX 5090 上运行 DeepSeek-v4.1-Flash-1017,支持 256k 上下文、最高 3 路并发请求,速度约 25–30 tok/s。方案采用动态 CPU 与 NVMe 卸载,灵感来自 DeepInfer 和 Strata。

作者附上与 Strata 的对比基准:

作者正在招募 3090、4090 和 AMD 显卡的测试贡献者。

所属事件:Rust 自研推理引擎单卡 5090 跑 DeepSeek 长上下文(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →