NInfer 实现 RTX 3090 高效运行 Qwen3.8-27B
mrmontanasagrada · reddit · 2026-08-15
开发者在 RTX 3090 (24GB) 上移植并优化了 NInfer 运行时，成功运行 Qwen3.8-27B 模型。测试数据显示，通过启用 ReplaySSM 技术和 CUDA Graphs，单请求吞吐量达 71 tok/s，而在 8 并发请求下解码速度可达 165 tok/s，且显存占用控制在 24GB 以内。该项目展示了老款消费级显卡运行大模型的潜力，同时也提到了 Qwen3-35B-A3B 的初步测试结果。
所属事件:RTX 3090 优化运行 Qwen3.8-27B 推理速度提升(3 条相关)→
「Infra」频道最新
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16