Rust 手写推理引擎 QuixiInfer 单卡 5090 跑 DeepSeek
开发者 QuixiAI 发布开源推理引擎 QuixiInfer,用 Rust 从零实现、高度优化,可在单张 RTX 5090(32GB)配合 16 核 CPU 与 128GB 内存的配置上运行 125B 参数的 MoE 模型 DeepSeek-v4.1-Flash-1017,在 256k 上下文长度下达到每秒 25-30 个 token 的生成速度,展示了单 GPU 消费级硬件运行超大模型的可行性。
2026-11-20 ~ 2026-11-20 · 3 条相关
- Rust 从零写的 QuixiInfer:单张 5090 跑 DeepSeek 256k 上下文达 30 tok/s — QuixiAI · 2026-11-20
- 极客用 Rust 手写推理引擎,单张 5090 跑 125B MoE 模型 — QuixiAI · 2026-11-20
- 单卡 5090 跑 DeepSeek 256k 上下文:Rust 推理引擎 QuixiInfer 达 25-30 tok/s — hotschmoe · 2026-11-20