256GB M5 Max Studio 跑 DeepSeek-V4.1 量化版：100 tok/s 解码
rez0__ · x · 2026-11-03
rez0 实测在 256GB 内存的 M5 Mac Studio 上，通过 MLX Serve 运行 DeepSeek-V4.1-Flash 的 3.0bpw iQ 量化版（MLX-Serve-iQ-MLX-3.0bpw），取得 93% 准确率，解码速度约 100 tok/s，prefill 达 1500-1800 tok/s。
这是大型 MoE 模型在消费级/工作站级 Apple Silicon 上本地部署的又一实证：3bit 激进量化下仍保持可用精度，单机即可获得接近可用的推理吞吐。
所属事件:256GB M5 Mac Studio 本地跑 DeepSeek 量化版达百速解码(2 条相关)→
「Infra」频道最新
- 推理初创扎堆年入上亿美元?本质是无 GPU 转售算力,并非真生意 — abhiadesai · 2026-11-03
- Stripe Data Pipeline 支持实时同步 Lakebase Postgres，秒级更新 — matei_zaharia · 2026-11-03
- 科技巨头 AI 数据中心开支今年将达 1.2 万亿美元，增速明年见顶回落 — TiernanRayTech · 2026-11-03
- 华尔街开始主导美国 AI 建设潮：放贷门槛越抬越高 — KateClarkTweets · 2026-11-03
- Trainium3 实测：Qwen3-32B 达 30.47% MFU，编译 GPT-OSS 27 分钟才跑出第一步 — demian_ai · 2026-11-03
- Datadog 工程师主张:AI Agent 默认上 Serverless,再用生产数据决定取舍 — rseroter · 2026-11-03