开权重模型正在赢在“普通人买得起的硬件”上
max_paperclips · x · 2026-07-24
这条转发的核心观点是：开权重模型的胜负，不在于谁能堆到数据中心级别，而在于谁能真正跑在用户买得起的硬件上。
被引内容给出了一个很具体的本地部署分层清单：
- 8–12GB 显存：推荐 Bonsai 27B，作者称它是把 Qwen 3.6 27B 压到 1bit 后仍能跑完整 agent loop、128k 上下文。
- 24GB RTX 3090：推荐 Qwen 3.6 27B dense Q4，主打更好的原始质量。
- 128GB DGX Spark：推荐 Poolside 的 Laguna-S 2.1 NVFP4，称其为 118B MoE，能在单机上跑到 30–45 tok/s、维持 128k 窗口。
原帖还提到，NVIDIA 过去一年在“资助建设者、押注开源生态、把真实模型端上桌”上动作明显，Nemotron 和 Nano 3 被视为这种策略的代表。
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27