Mistral Large 4 万亿参数模型跑进两台 M3 Ultra，20 tok/s
andrejusb · x · 2026-11-03
Prince Canuma 演示了在两台 M3 Ultra Mac 上通过 MLX-VLM 分布式推理本地运行 Mistral Large 4（1T 参数、A52B 激活），批量 3 时达到约 20 tok/s。该支持已合并进 MLX-VLM 主分支，新版本与更新将于次日发布。万亿参数模型在消费级设备上的分布式本地部署再进一步。
「Infra」频道最新
- 租一年 H100 要 3.76 万美元，网友警告算力成本即将恶化 — teortaxesTex · 2026-11-03
- 开源训练全细节：SGLang 集成与 H200/B300 内核一并放出 — francoisfleuret · 2026-11-03
- 半导体财报夜：AEHR 盘后涨 16%，LSCC 盘后涨 9% — BenBajarin · 2026-11-03
- RidgeFill：免训练跳算上层预填充，TTFT 提速至 1.6 倍、64K 请求 82.6s→47.5s — Public_Umpire_1099 · 2026-11-03
- 斯坦福教授论证太空算力散热可行：黑球辐射平衡只需解决导热 — shaunmmaguire · 2026-11-03
- AI 债务交互地图：25 方 58 项义务，公众同时是赌徒、债主与房东 — W1RELESS · 2026-11-03