单卡 H200 跑 MoE 推理：减专家+RL 保精度+会话复用三招
JFPuget · x · 2026-11-04
转引日语圈对一篇推理工程 writeup 的要点归纳：
- 削减 expert 数量并用 RL 保住精度：需更新的参数变少，作者疑问是否一张 H200 就能承载
- 保持会话不重算 prefill：长上下文场景省掉重复计算
- TP2×DP2 并行推理组合
属于 ARC 类竞赛赛后涌现的推理工程经验分享，细节见原链接。
「Infra」频道最新
- NVIDIA 推出 Global Performance Tuner:TensorRT 11.1 自动调优 PyTorch 性能 — PyTorch · 2026-11-04
- RTX 4060 8GB 本地跑 MiniMax H3:540P 视频 8 分钟生成 — DependentKey7761 · 2026-11-04
- SurrealDB 4 发布：主打 Agent 记忆，推出 Cloudflare 无服务器版 Earth — ritakozlov · 2026-11-04
- PlanetScale 揭数据库隐形成本:云盘网络延迟常是性能劣化首因 — DanielLockyer · 2026-11-04
- Binance 披露超 60 亿美元史上最大盗窃案细节，警示 AI 加速社工攻击 — evilsocket · 2026-11-04
- 美国数据中心建设支出已达办公楼两倍，年化 965 亿美元 — ohlennart · 2026-11-04