单张 3090 跑 27B 模型达 112 TPS,支持 400K 上下文
Brief-Tap-6616 · reddit · 2026-10-28
LlamAmpere v0.6 发布,主打单卡 3090 上的高吞吐推理:
- 解码速度:较上版提升约 13%,在 100-105K token 区间平均 112 TPS;prompt 处理提升 20%,起始约 1800 TPS,前 100K 内保持 1000+ TPS
- 新量化格式 Ampere Integer+:与 EXL3 同等 KLD 精度下显著更快,推荐模型 KLD 好 10%、体积小 1.2 GB;EXL3 内核也升级提速约 8%
- SJKVaRN 技术使总上下文可超 400K,显存占用 23.5 GB
- 配套的 3090/ti GPU unlock 解锁建议安装;MOE 模型进一步提速的提交即将发布,12 GB 显卡的更小量化也在本周推出
「Infra」频道最新
- vLLM 原生支持 NVIDIA Nemotron-3.5-Transcribe：转写+对话端点、FP8/NVFP4 — vllm_project · 2026-10-28
- HF《Ultra-Scale Playbook》实体书曝光：GPU 集群训 LLM 全指南 — mdancho84 · 2026-10-28
- Nemotron-3.5-Transcribe 接入 vLLM：原生语音塔+FP8/NVFP4 推理 — aakashgupta · 2026-10-28
- 中国算力达 2592 EFLOPS，Epoch 估算与工信部口径惊人吻合 — teortaxesTex · 2026-10-28
- 商业模型拒转新闻稿，本地模型秒办：本地 AI 的自由价值 — csuwildcat · 2026-10-28
- Chutes 接入 SayGM 网关:TEE 内跑开源模型,一个 key 通吃各家 — markjeffrey · 2026-10-28