276B大模型端侧部署：单台Mac Studio跑通nvfp4量化
pcuenq · x · 2026-07-31
开发者展示了如何在苹果生态中高效部署最新发布的 Inkling Small (276B参数) 模型。
- 硬件需求大幅降低：通过官方的 nvfp4 检查点，该模型在单台 Mac Studio 上运行时仅需约 150 GB 内存；用户也可以跨两台 128GB 内存的笔记本协同运行。
- 更激进的量化：作者表示未来一两天内通过更激进的量化手段，有望将其完全塞进单台笔记本电脑中。
- 工具支持：目前已在 GitHub 提交 PR，原生支持 nvfp4 和 mxfp4 模型，可通过 mlx-vlm 直接调用推理。
所属事件:Inkling-Small发布：276B参数12B激活，开源登顶ARC(48 条相关)→
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单卡 24GB 跑 Gemma 4 31B QAT：4090 上 46 tok/s，加草稿模型达 80 — Subject_Poet_3861 · 2026-10-16