RTX 3090 上 Qwen3.8-27B 推理提速至 381 tps
iamMess · reddit · 2026-08-21
作者分享了其 Qwen3.8-27B 推理引擎的最新优化成果，在 RTX 3090 上实现了 382 tps 的文档复现速度。关键优化包括：
- 更长验证块：将验证块增至 16 tokens，利用 lookup drafter 填充空槽，文档引用场景下接受率达 15/16。
- 突破 64K 上下文：通过 int8 KV cache 和调整滑动窗口层块大小，将上下文支持从约 7 万扩展至 13.8 万 tokens。
作者诚实地修正了之前的测试数据，指出量化缓存会导致 MTP 接受率下降（从 2.56 降至 2.38），导致长文本下解码开销增加 2.13 倍。该模式适用于 RAG 和代码编辑等高频引用场景，而非通用对话。
所属事件:RTX 3090 上 Qwen3.8-27B 推理提速至 381 TPS(2 条相关)→
「Infra」频道最新
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16