单张 RTX 5090 跑 262K 上下文:三款推理引擎 NVFP4 性能横向实测
giveen · reddit · 2026-10-23
Reddit 用户在单张 RTX 5090(32GB)上对 Qwen3.8-Flash-Next 的 NVFP4 量化版做了三引擎横向基准:basalt、capy-flash、ninfer-ext,统一条件为完整 262,144 token 上下文(16k 步进扫到 255k)、MTP 推测解码、int8 KV cache、零前缀缓存命中。
结果:
- basalt 全面领先:16k 上下文 prefill 约 8,490 tok/s、decode 约 242 tok/s;255k 上下文仍维持 8,285/176 tok/s。
- capy-flash 居中(16k:6,921/198),ninfer-ext 最慢(16k:4,473/92)。
- 贪心解码(temp 0)与采样解码(temp 1.0/topp 0.95/topk 20)两种模式下的相对排名一致。
- 各引擎配置细节披露:KV cache 策略(int8 elastic vs 固定)、MTP spec window、CPU 侧线程/池配置、VRAM 与 host RAM 占用等。
「Infra」频道最新
- 安全必须左移：补丁已出仍遭利用，全球协同成本正在爆发 — fforres · 2026-10-23
- Mozilla 安全事件后，Rust 圈开始攀「补救速度」这座山 — charliermarsh · 2026-10-23
- 816B 巨兽塞进 10 张 A40:层切分 prefill 快 4.6 倍 — fuzhongkai · 2026-10-23
- 迁移 AI 工作负载常需 70% 以上重写，成本远超预期 — DavidLinthicum · 2026-10-23
- Underdog 携手 NVIDIA 推本地模型：Saluki 27B 不到 8GB 剑指 Opus 4.6 — heyneighbor · 2026-10-23
- Perplexity Computer 实现全本地运行：模型与 agent 都跑在 Mac 上 — heyneighbor · 2026-10-23