单卡 5090 跑 125B MoE：QuixiInfer 实测 256k 上下文解码 27 tok/s
QuixiAI · x · 2026-11-08
QuixiAI 发布开源推理引擎 QuixiInfer（Rust 编写，自带 CUDA kernel，经 CubeCL 编译，不依赖 ggml/llama.cpp），声称可在单张 RTX 5090（32GB）+ 16 核 CPU + 128GB 内存的工作站上，为多用户同时服务 Qwen3.8-Flash-Next（125B MoE、每层 512 专家、262k 上下文）。
技术要点：
- 服务器设计源自 DeepSeek 集群引擎 DeepInfer，缩减到单 GPU + CPU 专家 offload
- 支持连续批处理、异步调度、FP8 分页 KV、共享前缀缓存、精确投机解码、结构化输出
- 使用 NVIDIA 的 NVFP4 量化 checkpoint：路由专家为 4-bit，注意力与共享专家保持更高精度
作者实测：在 256k 上下文下解码 27 tok/s、prefill 161 tok/s。
所属事件:消费级显卡本地跑 DeepSeek V4.1 Flash：5090 达 27 tok/s(3 条相关)→
「Infra」频道最新
- RTX 5090 现货价降至 6759 美元,较此前万元高价明显回落 — Beneficial-Ad-8127 · 2026-11-08
- LSA 论文：稀疏注意力索引占预填充 98% 耗时，10M 上下文提速 22.7 倍 — burny_tech · 2026-11-08
- 「GPU 无家可归」激增：有算力没机房，圈内人四处求托管的梗 — markjeffrey · 2026-11-08
- 机舱实测:机上互联网测速下载 122Mbps,自称史上最佳 — JoeJustice · 2026-11-08
- 数据中心狂飙之下,电力与电网已成超级智能最大瓶颈 — XFreeze · 2026-11-08
- 跑 50-100 个 Agent 的开发者考虑本地小模型替代 API 决策降延迟 — f1yingbanana · 2026-11-08