单张RTX 3090跑30B模型：W4A16量化实现4.5倍吞吐量提升
mitchins-au · reddit · 2026-08-14
开发者针对NVIDIA Nemotron 3.5 Lightning 30B-A3B模型发布了适用于VLLM的W4A16量化版本，使其能够完全载入单张24GB显存的RTX 3090显卡。
测试表明，相较于llama.cpp上的IQ4XS GGUF格式，W4A16在VLLM服务下的吞吐量提升了数倍（B16批次下约4.5倍）。基准测试显示，两者在指令遵循等核心能力上几乎没有差异。该方案非常适合在消费级硬件上进行批量数据标注或对编码能力要求不高的智能体任务。
「Infra」频道最新
- 用 Void 加 fate 一天搭出完整 vibe coding 平台并部署到 Cloudflare — cnakazawa · 2026-10-16
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16