NVIDIA 75B 混合 MoE 本地可跑：Mamba+注意力交错，参数量砍至 9.3B 激活
jacek2023 · reddit · 2026-09-03
- 模型：NVIDIA Nemotron-3-Puzzle-75B-A9B 已可经 llama.cpp 在本地运行。
- 架构：混合 MoE，Mamba、MoE 与注意力层交错排列；支持 Multi-Token Prediction（MTP）加速文本生成。
- 规格：相比母模型 Nemotron-3-Super-120B-A12B（总参数 120.7B / 激活 12.8B），压缩到总参数 75.3B / 激活 9.3B。
- 意义：75B 混合 MoE 是个值得关注的本地部署甜点尺寸，想试 Nemotron-3-Super 但机器不够的用户可以选它；也可对比更新的 Nemotron-3.5-Lightning-30B-A3B。
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21