M5 Max 跑 Qwen3.8-Flash-Next 百万上下文，MLX 引擎实测 40 tok/s
Beamsters · reddit · 2026-09-09
MLX-serve 引擎的共同作者为 Qwen3.8-Flash-Next 新增支持，在 M5 Max 128GB 上实现了 100 万 token 上下文的本地推理：
- 使用 8bit KV cache，混合量化（dense 层 8bit、专家层 4bit），保持较高模型质量
- 实测生成速度：长上下文下散文约 40 tok/s、代码约 75 tok/s，可全程维持
- 跑满 1M 上下文需设置 iogpu.wiredlimitmb=120000，峰值内存约 117GB
- 作者强调这是真实 temp 1.0 采样下的深度上下文工作负载，而非短上下文跑分演示；还用模型生成了 MLX Serve Monitor 插件（Opencode2 内可见）
资源：引擎 mlx-serve、模型权重（HuggingFace）、Opencode2 插件均已开源。作者提醒仍可能有 bug，欢迎报告。
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27