专题 · FULL STORY

Maple模型发布：Mac与单卡服务器的吞吐奇迹

DeepGrove发布开源三值权重模型Maple-Preview。该模型不仅能在Mac Mini上跑出超200 tokens/s的速度，其20B版本在单卡GH200并发推理中更创下9885 tokens/s的惊人吞吐量。

2026-08-05 ~ 2026-08-06 · 2 集 · 9 条

第 1 集 · DeepGrove发布开源模型Maple，Mac Mini跑出超200 tokens/s(2026-08-05,4 条)

DeepGrove发布了名为Maple-Preview的开源三值权重推理大模型。该模型总参数量达200亿，激活参数约10亿，在同等权重类别中达到了SOTA水准，甚至能够解决IMO级别的数学难题。其核心突破在于极致的端侧运行效率，能够在Mac Mini等消费级硬件上实现每秒超200个token的生成速度，大幅降低了本地大模型推理的硬件门槛。

第 2 集 · Maple 20B-A1B 预览版发布，单卡 GH200 跑出 9885 tokens/s(2026-08-06,5 条)

DeepGroove AI 在 Hugging Face 上发布了开源混合专家模型 Maple 20B-A1B 的预览版权重。该模型在并发推理中展现出极高的吞吐量，为高并发开源推理方案提供了新的参考。

已确认

  • 模型参数：Maple 20B-A1B 是一款混合专家模型，总参数量为 200 亿，激活参数量为 10 亿。
  • 推理性能：据开发者 MaziyarPanahi 实测，该模型部署在单张 NVIDIA GH200 处理器上，在 64 个并发请求的条件下，吞吐量达到了 9,885 tokens/s。
  • 部署细节：实测使用了 vLLM 0.26.0 版本进行部署。
  • 社区测试：MaziyarPanahi 宣布向社区免费开放该模型的推理 API 端点，限时 12 小时供大众进行测试和压测。

为什么重要

  • 端侧与高并发潜力：极高的单卡吞吐量表明，通过 MoE 架构大幅降低激活参数，能够在顶级单卡硬件上实现非常可观的并发处理能力，为高吞吐推理服务提供了新的开源参考方案。