硬核移植:MiMo V2.6 Flash 在 4x5090+3090 Windows 集群上跑通 sglang
comperr · reddit · 2026-09-27
Reddit 用户 comperr 展示了一项硬核本地部署实验：把 MiMo V2.6 Flash 移植到 Windows 上的 sglang，跑在一个由 4 张 RTX 5090、3090 和 3090 Ti 组成的分布式集群上。技术栈包括 NCCL 2.32.3、MSVC 19.44 下编译的 sgl-kernel、POSIX 全局补丁、Gloo rendezvous、a2a backend（经 FusedMoE/Triton 自定义实现 EP）以及 Marlin MoE runner。
「Infra」频道最新
- Polymarket 数据中心禁令预测：年内任一州出台概率仅 29% — Polymarket · 2026-09-27
- 四大科技巨头 AI 资本开支达 GDP 2.4%,已超当年电信峰值 — rickasaurus · 2026-09-27
- 开源项目 MLX.fast 宣称 Apple Silicon 小模型推理最高提速 3 倍 — VagabondTruffle · 2026-09-27
- 高盛：token 需求 18 个月增 18 倍，仍难追平价格崩塌 — rohanpaul_ai · 2026-09-27
- 轨道算力每吉瓦成本之争:投行估 1700 亿美元,自建模型称 680 亿 — JOBhakdi · 2026-09-27
- Modal 开源 GPU Glossary：面向人类的 GPU 编程术语词典 — charles_irl · 2026-09-27