Rust 从零写的 QuixiInfer:单张 5090 跑 DeepSeek 256k 上下文达 30 tok/s
QuixiAI · x · 2026-11-20
开发者 QuixiAI 发布自研推理引擎 QuixiInfer,用 Rust 从零实现,可在单张 RTX 5090 上运行 DeepSeek-v4.1-Flash-1017,支持 256k 上下文、最高 3 路并发请求,速度约 25–30 tok/s。方案采用动态 CPU 与 NVMe 卸载,灵感来自 DeepInfer 和 Strata。
作者附上与 Strata 的对比基准:
- Prefill:16k token 时快 1.6×(1392 vs 854 tok/s),2k token 时最高快 3.4×(2.3s vs 7.3s)
- Decode:提示后初期快约 1.5×;稳态下 32.4–32.7 tok/s 对 Strata 的 27.2
作者正在招募 3090、4090 和 AMD 显卡的测试贡献者。
所属事件:Rust 自研推理引擎单卡 5090 跑 DeepSeek 长上下文(3 条相关)→
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20