单张RTX 3090跑30B模型：W4A16量化实现4.5倍吞吐量提升
mitchins-au · reddit · 2026-08-14
开发者针对NVIDIA Nemotron 3.5 Lightning 30B-A3B模型发布了适用于VLLM的W4A16量化版本，使其能够完全载入单张24GB显存的RTX 3090显卡。
测试表明，相较于llama.cpp上的IQ4XS GGUF格式，W4A16在VLLM服务下的吞吐量提升了数倍（B16批次下约4.5倍）。基准测试显示，两者在指令遵循等核心能力上几乎没有差异。该方案非常适合在消费级硬件上进行批量数据标注或对编码能力要求不高的智能体任务。
「Infra」频道最新
- TPN Labs 推出去中心化算力主网竞赛，攻坚端侧 AI 模型 — const_reborn · 2026-08-14
- 新型类脑 AI 芯片：运算量仅需万分之一即可实现瞬时控制 — ChuckDBrooks · 2026-08-14
- Architect Labs用AI设计芯片，让公司无需自建半导体团队 — hsu_byron · 2026-08-14
- RTX 3050 6GB 跑 Qwen 30B MoE：90k 上下文 30+ tps — Bakkario · 2026-08-14
- Minimax 模型配合 ref2va 量化，低显存也能跑 — Actual-Project358 · 2026-08-14
- 图解 LLM 连续批处理：vLLM 吞吐量提升 23 倍的核心技术 — blaizedsouza · 2026-08-14