单卡4090跑Qwen 27B：KV缓存量化后上下文冲上35万
UDPSendToFailed · reddit · 2026-08-17
开发者 UDPSendToFailed 更新了其 fork 的推理引擎 NInfer，为 KV 缓存新增 rk2v4-e8 量化选项，可在单张 RTX 4090 上运行 Qwen 27B 模型时把上下文窗口做到 25 万-35 万 token，全程不溢出到系统内存；是否启用视觉、MTP 等配置会影响实际上限。
在较低上下文设置下他还做了生成速度优化，代码、数学等重复性任务可达约 80-160 token/s。项目已开源在 GitHub（UDPSendToFailed/ninfer-4090），作者欢迎反馈运行时问题。
「Infra」频道最新
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16