单张 4090 复现 DeepSeek v4.1 Flash,1M 上下文跑到 1-10 tok/s
_xjdr · x · 2026-09-18
开发者 xjdr 为了搞懂 DeepSeek v4.1 Flash 的架构,从零实现了它,并在极端受限的硬件上跑通:单张 4090 + 64GB CPU 内存 + 1TB NVMe,全精度(bf16/fp8/mxfp4 混合)、batch=1、上下文 1M+,根据专家缓存命中情况跑到 1-10 tok/s。
他的结论:这个架构非常出色,但最优部署平台其实是 Grace Blackwell 一类的硬件;他高度赞赏 DeepSeek 团队在硬件约束下持续的工程功力。
「Infra」频道最新
- NEURA 发布 Neuron AI,欧洲具身智能的真正考验在协同落地 — ingliguori · 2026-11-04
- S3 数据库并不慢：内存+NVMe 缓存摊薄成本，写延迟差距比想象小 — mgill25 · 2026-11-04
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04