MoE 批量推理免费提速:生成前先按领域排序 prompt,最高 +17%
yb2698 · x · 2026-10-20
一个零成本的 MoE 批量推理优化技巧:在调用 llm.generate 前先对 prompt 排序。
原理:MoE 模型每个 decode 步都要读取批内所有请求选中的专家;混合领域的批次会触及更多专家,而同领域批次专家高度重叠,缓存命中更高。
实测(原生 vLLM、同样的请求,只改顺序):
- Qwen3-30B-A3B:提速 12–17%
- gpt-oss-120b:提速 7–12%
只需一个 argsort,无需改任何模型或框架代码。
「Infra」频道最新
- 大摩看多英伟达:2027 年近 7000 亿美元营收或流入,但缺电 32GW — rohanpaul_ai · 2026-10-20
- MiniCPM-V 4.7 端侧跑出 100 tok/s,仅占约 3 GB 显存 — NielsRogge · 2026-10-20
- 实测:用户按停止后 AI 仍在偷偷生成，除非真正断开连接 — No-Peanut-6988 · 2026-10-20
- ComfyUI 14 万星：文生图从大厂实验室走进自家显卡 — alex_verem · 2026-10-20
- Immich 11.6 万星：自托管照片库的人脸搜索替代 Google Photos — alex_verem · 2026-10-20
- whisper.cpp 5.4 万星：笔记本离线转写数小时音频 — alex_verem · 2026-10-20