实测显示 Gemma MoE 比 Dense 版便宜 20% 且快 25.5%
Practical-Koala2831 · reddit · 2026-07-21
用相同的 100 条提示词、通过 200 次 OpenRouter 真实 API 调用，对比了 Dense gemma-4-31b-it 和 MoE gemma-4-26b-a4b-it。
- 成本：MoE 版本每次查询便宜 20%。
- 速度：平均延迟快 25.5%。
- 输出：两边 token 输出一致，架构切换没有影响结果质量。
- 尾延迟：优势在 P50 时为 27.3%，到 P95 只剩 12.9%，说明高负载下两者都撞上了相同的基础设施上限。
作者的结论是：MoE “更便宜” 这件事在实际生产里站得住脚，但如果你的 SLA 看重尾部延迟，还是要先用自己的流量测一遍。按文中估算，这个 20% 的差价在 每天 1 亿次查询 的规模下，可能对应约 2970 美元/月 的节省。
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27