NInfer 推理引擎 Day-0 支持 Qwen3.8-27B，RTX 5090 上生成速度达 200 tok/s
FormOne2615 · reddit · 2026-08-15
NInfer 推理引擎已实现对 Qwen3.8-27B 的 Day-0 支持，在单张 RTX 5090 上通过投机解码达到约 200 tok/s 的生成速度。
主要改进包括：
- 支持最多 8 个并发请求，共享分页 KV 缓存池，每个请求仍可使用完整上下文长度。
- 为 GDN + 投机解码实现 ReplaySSM，大幅降低并发下的循环状态内存开销（vLLM 尚未完全支持）。
- 大量 CUDA 内核优化，并使用 PDL 进一步降低延迟。
权重已发布在 Hugging Face，欢迎反馈和 bug 报告。
「Infra」频道最新
- RTX 5090 实测 Qwen3.8：提升未达预期 — WonderfulEagle7096 · 2026-08-15
- RTX 3090 跑 Qwen 3.8 27B 约 35 t/s — cviperr33 · 2026-08-15
- CME 推出英伟达 H100 算力期货，视算力为 AI 时代货币 — AccBalanced · 2026-08-15
- 现状反馈：Serverless GPU 容量紧张与延迟高 — tobowers · 2026-08-15
- Touchmark 推出 token 期货市场，较按需价最多省 30% — ycombinator · 2026-08-15
- 宏观分析：AI 股回调是否为买入良机？ — Beth_Kindig · 2026-08-15