极客用 Rust 手写推理引擎,单张 5090 跑 125B MoE 模型
QuixiAI · x · 2026-11-20
QuixiAI 发布开源项目 QuixiInfer:用 Rust 从零实现的单 GPU 推理引擎,可在一张 RTX 5090(32GB)+ 16 核 CPU + 128GB 内存 + NVMe 的工作站上,服务 Qwen3.8-Flash-Next(125B MoE,每层 512 专家,262k 上下文)。
- 自带 CUDA kernel,通过 CubeCL 启动,不链接任何 ggml/llama.cpp 代码
- 架构源自 DeepSeek 集群引擎 DeepInfer,缩小到单卡并做 CPU 专家卸载
- 支持:连续批处理、异步调度、分页 FP8 KV、共享前缀缓存、精确投机解码、结构化输出
- 实测约 25-30 tok/s,5090 上最多 3 个并发请求,256k 上下文
- 采用动态 CPU 与 NVMe 卸载,作者招募志愿者在 3090/4090 等其他 GPU 上测试
所属事件:Rust 自研推理引擎单卡 5090 跑 DeepSeek 长上下文(3 条相关)→
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20