极客用 Rust 手写推理引擎,单张 5090 跑 125B MoE 模型

QuixiAI · x · 2026-11-20

QuixiAI 发布开源项目 QuixiInfer:用 Rust 从零实现的单 GPU 推理引擎,可在一张 RTX 5090(32GB)+ 16 核 CPU + 128GB 内存 + NVMe 的工作站上,服务 Qwen3.8-Flash-Next(125B MoE,每层 512 专家,262k 上下文)。

所属事件:Rust 自研推理引擎单卡 5090 跑 DeepSeek 长上下文(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →