M2 Ultra 跑 DeepSeek V4 Flash：无损重打包至 141GiB，25.8 t/s 超 M3 Ultra
Agusx1211 · reddit · 2026-08-23
开发者针对 M2 Ultra（60 核、192GB）定制了 llama.cpp 分支，将 DeepSeek V4 Flash 无损重打包至 141 GiB，比公开 Q4 GGUF 更小（省出空间放上下文），且输出完全一致（无 KV cache 量化）。
关键成果：
- 速度达 25.8 t/s（峰值 42 t/s），甚至快过 M3 Ultra 上的 16 t/s
- 支持 SSD KV cache 与动态 lane，总上下文 1M token、8 lanes
- PP（prompt 处理）偏低，8k-32k 约 250 t/s，但 SSD cache 大幅弥补，作者认为仍有算力可挖
代码开源：llama-cpp-ds4f-m2-ultra。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15