实测：MoE 模型将本地 Agent 并发吞吐提升 8 倍
AIForOver50Plus · reddit · 2026-08-21
作者在 MacBook Pro M3 Max 上对比了 Dense 27B 和 MoE 30B-A3B 模型的本地并发性能。结果显示，Dense 模型在 2 个 Agent 后吞吐即因内存带宽瓶颈持平（约 20 tok/s），而 MoE 模型因每 Token 仅激活约 3B 参数，吞吐随 Agent 数量线性增长（8 Agent 时达 158.6 tok/s）。MoE 模型在首字延迟（0.8s vs 32.2s）和单 Agent 速度上均有巨大优势，证明了在内存带宽受限场景下 MoE 架构的显著优势。
「Infra」频道最新
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16