456GB 的 DeepSeek v4.1 本地跑出 40 tok/s,混合推理方案公开
HankYeomans · x · 2026-09-22
一位开发者在本地成功混合部署 DeepSeek v4.1 MXFP4:模型约 456GB,达到 40 tok/s。
配置与做法:
- 2 张 RTX 6000 Pro Max-Q 放不下全部专家,溢出部分交给 Threadripper Pro CPU + 256GB CL32/6400MT 内存。
- Engrams 存放在 Samsung 9100 NVMe 上。
- 作者自述目的是把现有 GPU 周边硬件推到极限,展示 Threadripper 大内存平台在本地大模型上的价值。
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12