RTX 3060 12GB 跑 74B MoE:2-bit 量化+专家卸载实测
cephaloform · x · 2026-10-16
开发者 DogukanUrker 展示在单张 RTX 3060（12GB 显存 + 16GB 内存）上运行 NVIDIA Nemotron-3.5-Bolt-74B-A9B，支持完整 262K 上下文，解码约 24 tok/s、预填充约 500 tok/s。官方最小的 NVIDIA 配方要求 32GB 显存，但这个 74B MoE 采用原生 2-bit 权重、仅 8 层注意力，把专家权重推到内存后即可塞进 12GB 显卡，256K 上下文的 KV 缓存仅约 1.2GB。
- 关键配置：llama-server 搭配 -ngl 99 --n-cpu-moe 66 卸载专家层，--cache-type-k/v q80 量化 KV 缓存，-fa on 开启 flash attention。
- 转发者评价「速度快得出乎意料」，作者预告随后发布基准测试。
「Infra」频道最新
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- Apple、Meta CEO 热炒 Mac 芯片推理，有人断言分布式推理网络是百亿美元机会 — gajesh · 2026-10-16
- NVIDIA 74B 新模型登顶美国开源榜，已可本地跑在 Mac 上 — SumitGup · 2026-10-16