众包优化让 NVIDIA Nemotron 3.5 Lightning 在 Mac 上提速 34.6%
gajesh · x · 2026-10-24
NVIDIA 的开源权重模型 Nemotron 3.5 Lightning（约 20GB，适合单机本地运行）成为社区提速竞赛的目标。由于 NVIDIA 将其设计为快速通用底座模型，任何对基座的提速都会传导到所有基于它的微调模型。
要点：
- 上线第一天，Yukon Research 的求解者就让它在 DGX Spark 上快 31.9%、Mac 上快 13.8%
- 目前纪录：Mac 上整体提速 34.6%，decode 从 152.3 提升到 237.3 tok/s，prefill 3220.7 tok/s，采用 speculative decoding 自定义 draft head
- 可优化对象包括 Mamba-2、MoE、注意力层和多 token 预测头
- NVIDIA 同时放出了训练数据与配方，方便社区后训练
「Infra」频道最新
- 传某顶级律所弃用 Harvey 与云 API，转用自有 GPU 跑 Kimi 和 DeepSeek — SumitGup · 2026-10-24
- Tesla Q3 储能部署量增 10% 营收反降 16%，单价暴跌成主因 — pdamodaran · 2026-10-24
- Mandiant：PHP 关键漏洞已有可 RCE 的 PoC，督促尽快打补丁 — cyb3rops · 2026-10-24
- W4A16 量化逆势提速 10%,解码 kernel 吃满 98% Tensor Core — niloofar_mire · 2026-10-24
- Blackstone 拟出售数据中心， neocloud 算力租金同比涨 50% — GaryMarcus · 2026-10-24
- 30-40 万美元预算怎么花：癌症中心算力主管公开征询 AlphaFold 集群方案 — starkruzr · 2026-10-24