NInfer 推理引擎 Day-0 支持 Qwen3.8-27B，RTX 5090 上生成速度达 200 tok/s
FormOne2615 · reddit · 2026-08-15
NInfer 推理引擎已实现对 Qwen3.8-27B 的 Day-0 支持，在单张 RTX 5090 上通过投机解码达到约 200 tok/s 的生成速度。
主要改进包括：
- 支持最多 8 个并发请求，共享分页 KV 缓存池，每个请求仍可使用完整上下文长度。
- 为 GDN + 投机解码实现 ReplaySSM，大幅降低并发下的循环状态内存开销（vLLM 尚未完全支持）。
- 大量 CUDA 内核优化，并使用 PDL 进一步降低延迟。
权重已发布在 Hugging Face，欢迎反馈和 bug 报告。
「Infra」频道最新
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16